CREATOR：通过工具创建解耦大语言模型抽象与具体推理
计算与语言
2024-06-24 v3
摘要
大语言模型（LLMs）在利用工具方面取得了显著进展，但其能力受限于 API 可用性和隐式推理的不稳定性，尤其在同时涉及规划与执行时。为克服这些局限，我们提出 CREATOR，一种新颖的框架，使 LLMs 能够利用文档与代码实现来创建自己的工具。CREATOR 将抽象的工具创建与具体的决策执行解耦，从而提升性能。我们在 MATH 和 TabMWP 基准上评估 CREATOR，前者包含具有挑战性的数学竞赛题，后者包含多样化的表格内容。值得注意的是，CREATOR 优于现有的思维链、程序思维与工具使用基线。此外，我们引入 Creation Challenge 数据集，包含 2K 道多样化问题，以强调 LLMs 工具创建能力的必要性与益处。进一步研究表明，将 LLMs 用作工具创建者有助于知识迁移，且 LLMs 表现出不同水平的工具创建能力，使其能适应多样情境。工具创建能力革新了 LLM 的问题解决范式，推动我们更接近人工智能的下一前沿。所有代码与数据均已发布。
引用
@article{arxiv.2305.14318,
title = {CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models},
author = {Cheng Qian and Chi Han and Yi R. Fung and Yujia Qin and Zhiyuan Liu and Heng Ji},
journal= {arXiv preprint arXiv:2305.14318},
year = {2024}
}
备注
Findings of EMNLP 2023