SciAgent：用于科学推理的工具增强型语言模型
计算与语言
2024-02-22 v2 人工智能
摘要
科学推理即使对于最先进的大语言模型（LLM）来说也是一个巨大的挑战。为了使这项任务对 LLM 更加实用和可解决，我们引入了一种名为工具增强型科学推理的新任务设定。该设定为 LLM 补充了可扩展的工具集，并将重点从追求全知的问题解决者转变为熟练的工具使用者。为了促进此类设定的研究，我们构建了一个名为 MathFunc 的工具增强型训练语料库，包含超过 30,000 个样本和大约 6,000 个工具。基于 MathFunc，我们开发了 SciAgent，用于检索、理解并在必要时使用工具来解决科学问题。此外，我们构建了一个跨越五个科学领域的基准测试 SciToolBench，以评估 LLM 在工具辅助下的能力。在 SciToolBench 上的大量实验证实了 SciAgent 的有效性。值得注意的是，SciAgent-Mistral-7B 在绝对准确率上比同等大小的其他 LLM 高出 13% 以上。此外，SciAgent-DeepMath-7B 的表现远优于 ChatGPT。
引用
@article{arxiv.2402.11451,
title = {SciAgent: Tool-augmented Language Models for Scientific Reasoning},
author = {Yubo Ma and Zhibin Gou and Junheng Hao and Ruochen Xu and Shuohang Wang and Liangming Pan and Yujiu Yang and Yixin Cao and Aixin Sun and Hany Awadalla and Weizhu Chen},
journal= {arXiv preprint arXiv:2402.11451},
year = {2024}
}