野生工具学习：赋能语言模型作为自动工具代理
计算与语言
2025-03-05 v2
摘要
通过外部工具增强大型语言模型（LLM）的能力已成为一种拓展其实用性的有前景的方法，使其能够解决实际任务。以前的方法需要手动解析工具文档并创建情境演示，将工具转换为 LLM 可使用的结构化格式。然而，这种手动过程需要专业知识，且难以扩展到大型工具集。此外，这些方法高度依赖于 ad-hoc 推理技术或特殊标记来将自由形式的 LLM 生成与工具调用动作集成，从而限制了 LLM 在处理多样化工具规范和整合多个工具方面的灵活性。本文提出了 AutoTools 框架，使 LLM 能够自动化工具使用工作流程。具体而言，LLM 自动将工具文档转换为可调用函数，验证语法和运行时正确性。然后，LLM 将这些函数集成到可执行程序中，以解决实际任务，灵活地将工具使用动作嵌入其推理过程中。对现有和新收集的、更具挑战性的基准进行大量实验，说明了该框架的优势。受这些鼎舞人的结果启发，我们进一步研究如何在 AutoTools 中提升 LLM 的专业知识，尤其是针对参数较少的开源 LLM。因此，我们提出了 AutoTools-learning 方法，在 34k 高质量合成数据的基础上，对 LLM 进行训练，包括文档理解、相关性学习和函数编程三个学习任务。细粒度结果验证了我们整体训练方法的有效性以及每个单独任务的效果。我们的方法是 LLM 用于解决具有外部工具的实际任务的重要一步。
引用
@article{arxiv.2405.16533,
title = {Tool Learning in the Wild: Empowering Language Models as Automatic Tool Agents},
author = {Zhengliang Shi and Shen Gao and Lingyong Yan and Yue Feng and Xiuyi Chen and Zhumin Chen and Dawei Yin and Suzan Verberne and Zhaochun Ren},
journal= {arXiv preprint arXiv:2405.16533},
year = {2025}
}
备注
Accepted by WWW 2025