ToolAlpaca：利用3000个模拟案例实现语言模型的通用工具学习
计算与语言
2023-09-08 v2
摘要
使大型语言模型能够有效利用真实世界工具对于实现具身智能至关重要。现有的工具学习方法要么主要依赖如GPT-4等极大语言模型以零样本方式获得通用工具使用能力，要么在紧凑模型上利用监督学习训练有限范围的工具。然而，较小的语言模型能否在无工具特定训练的情况下获得通用工具使用能力仍不确定。为解答该问题，本文提出ToolAlpaca，一种新颖的框架，旨在以最小人工干预自动生成多样化工具使用语料，并在紧凑语言模型上学习通用工具使用能力。具体而言，ToolAlpaca首先通过构建多智能体模拟环境自动创建高度多样化的工具使用语料。该语料包含来自50个不同类别、400多个真实世界工具API的3938个工具使用实例。随后，所构建的语料用于微调紧凑语言模型，得到ToolAlpaca-7B和ToolAlpaca-13B两个模型。最后，我们评估这些模型在无特定训练情况下利用先前未见工具的能力。实验结果表明，ToolAlpaca取得了与GPT-3.5等极大语言模型相当的有效的通用工具使用能力，证明紧凑语言模型学习通用工具使用能力是可行的。
引用
@article{arxiv.2306.05301,
title = {ToolAlpaca: Generalized Tool Learning for Language Models with 3000 Simulated Cases},
author = {Qiaoyu Tang and Ziliang Deng and Hongyu Lin and Xianpei Han and Qiao Liang and Boxi Cao and Le Sun},
journal= {arXiv preprint arXiv:2306.05301},
year = {2023}
}