小语言模型经适当训练可匹配LLM的搜索Agent能力

研究表明，虽然小语言模型（SLM）作为搜索agent开箱即用时表现不佳，但一种轻量级微调方法可以使其在复杂多跳推理任务上达到LLM水平。

问题

配备搜索工具的SLM表现出令人惊讶的行为：

• 参数知识更少（预期的）
• 搜索频率更低（意外的）
• 更容易产生幻觉（令人担忧的）

解决方案：显式搜索训练

研究人员提出轻量级微调方法，显式训练SLM：

1. 可靠检索 — 知道何时以及如何搜索
2. 基于证据回答 — 基于检索证据生成回应
3. 避免自适应搜索 — 一致的搜索行为优于复杂策略

结果

反直觉发现

"SLM中的自适应搜索策略通常会降低性能，强调了一致搜索行为对可靠推理的必要性。"

为什么重要

• 成本效率 — SLM运行成本比LLM低几个数量级
• 边缘部署 — SLM可在设备上运行，实现离线搜索
• 延迟 — 较小模型响应更快
• 民主化 — 使强大搜索agent可及于API依赖应用之外