小模型如何学会工具调用能力

摘要

本文基于AWS发布的研究，深入探讨小语言模型在工具调用任务上的训练方法。文章指出，虽然SLMs在整体性能上不如大模型，但在延迟、成本和部署可控性方面具有优势，特别适合工具调用等特定任务。研究使用OPT-350M模型，通过ToolBench风格的监督微调，使小模型学会调用工具并生成正确的参数。

内容框架与概述

文章首先分享了来自Amazon嘉宾的工业界洞察，提出了训练生产级语言模型面临的三大挑战：数据质量决定模型性能上限、基准指标与用户体验存在差距、调试失败案例极其困难。这些观点强调了实际应用中数据质量和评估方法的重要性。

接着文章介绍了小语言模型在代理工具调用中的应用趋势。AWS发布的研究展示了如何使用仅有3.5亿参数的OPT-350M模型，通过专门的训练使其掌握工具调用能力。这一方法的核心价值在于，它证明了小模型在特定任务上可以达到实用水平，同时保持低成本和低延迟。

技术实现部分详细阐述了训练流程。从预训练到指令微调，再到专门的工具调用微调，整个过程仍然是基于下一个词预测的范式。关键创新在于使用掩码技术，在微调阶段只对助手的令牌计算损失，使模型专注于学习工具调用的决策。这种单轮训练的稳定性得益于适当的热身策略。

核心概念及解读

小语言模型（SLMs）：参数规模较小的语言模型，在工具调用等特定任务上可以替代大模型，具有低延迟、低成本和易于部署的优势。

ToolBench风格微调：一种监督学习方法，将工具调用场景转换为令牌序列进行训练，使模型学会生成正确的工具调用和参数。

损失掩码：在工具调用训练中只对助手令牌计算损失，忽略系统和用户令牌，从而提高训练效率和模型专注度。

OPT-350M：Meta开源的GPT风格参考模型，拥有3.5亿参数，被用于演示小模型如何训练工具调用能力。

原文信息

此摘要卡片由 AI 自动生成