高效代理工具调用的小型语言模型：通过针对性微调超越大型模型
摘要
随着生成式 AI 采用规模的扩大，模型成本优化和操作效率已成为决定可持续性和可接入性的关键因素。虽然大型语言模型（LLM）在多样化任务中展现出惊人的能力，但其广泛的计算需求使得它们在日常企业应用中成本不可接受。这一局限性激发了对小型语言模型（SLM）的探索，这些模型虽在针对性应用中可提供相当性能，却大幅降低了基础设施开销（Irugalbandara 等，2023）。本文中，我们 investigates 用优化后的 SLM 替换 LLM 驱动的工作流程的可行性。我们训练了一个适应域的 SLM 来执行传统上由 LLM 处理的代表性任务，如文档摘要、查询 answering 和结构化数据解释。作为实验的一部分，我们研究了使用 Hugging Face TRL（Transformer Reinforcement Learning）特别是监督微调（SFT）trainer 对 facebook/opt-350m 模型进行微调（仅一个 epoch）。该 OPT-350M 模型于 2022 年由 Meta AI 发布，作为 OPT（Open Pretrained Transformer）系列模型的一部分。类似的研究表明，即使在 350M 参数规模的模型也能在指令调优管道中发挥有意义的作用（Mekala 等，2024）。实验结果显示，我们微调的 SLM 在 ToolBench 评估中取得了 77.55% 的通过率，显著优于所有基线模型，包括 ChatGPT-CoT（26.00%）、ToolLLaMA-DFS（30.18%）和 ToolLLaMA-CoT（16.27%）。这些发现强调，小心设计和针对性训练的 SLM 确实可以显著降低采用门槛，使其在降低成本的同时实现大规模集成，从而使生成式 AI 能够进入生产系统。
引用
@article{arxiv.2512.15943,
title = {Small Language Models for Efficient Agentic Tool Calling: Outperforming Large Models with Targeted Fine-tuning},
author = {Polaris Jhandi and Owais Kazi and Shreyas Subramanian and Neel Sendas},
journal= {arXiv preprint arXiv:2512.15943},
year = {2026}
}
备注
Accepted at AAAI 2026 Workshop on Agentic AI Benchmarks and Applications for Enterprise Tasks