不要为工具适配小型语言模型;将工具模式适配到模型中去
计算与语言
2026-04-21 v3
摘要
小型语言模型(Small Language Models, SLMs)使能够扩展工具增强型多智能体系统,其中多个SLMs处理由强大协�调器组织的子任务。然而,它们在工具使用任务方面存在挑战,尤其是在选择合适工具和识别正确参数方面。常见的失败模式是“模式错位”(schema misalignment):模型幻觉地生成模式图中不存在的合理工具名称,因为在预训练期间内化的命名约定不同。我们提出了适配模型以适应不熟悉的模式的方案,而不是训练模型。我们引入了\textbf{PA-Tool}(Pretraining-Aligned Tool Schema Generation),一种无训练方法,利用峰度(peakedness)这种用于检测污染的信号,指示预训练熟悉度,以重新命名工具组件。通过生成多个候选选项并选择峰度最高的候选选项,PA-Tool识别与预训练对齐的命名模式。在MetaTool和RoTBench上的实验显示,性能提升最高可达17%,模式错位错误减少80%。PA-Tool使小模型在无需重新训练的情况下显著提高工具使用准确率,表明模式层面的干预可以释放资源高效模型的工具使用潜力。我们的代码可在 https://github.com/holi-lab/PA-Tool 查看。
引用
@article{arxiv.2510.07248,
title = {Don't Adapt Small Language Models for Tools; Adapt Tool Schemas to the Models},
author = {Jonggeun Lee and Woojung Song and Jongwook Han and Haesung Pyun and Yohan Jo},
journal= {arXiv preprint arXiv:2510.07248},
year = {2026}
}
备注
Accepted at ACL 2026 (Main)