MATHSENSEI：一种用于数学推理的工具增强型大型语言模型
计算与语言
2024-04-04 v3
摘要
工具增强的大型语言模型（TALM）已知可以增强大型语言模型（LLM）的技能集，从而在许多任务中提高其推理能力。虽然TALM已成功应用于不同的问答基准，但它们在复杂数学推理基准上的有效性，以及工具在知识检索和数学方程求解方面提供的潜在互补益处，仍是开放的研究问题。在这项工作中，我们提出了MathSensei，一个用于数学推理的工具增强大型语言模型。我们研究了工具的互补益处——知识检索器（Bing Web Search）、程序生成器+执行器（Python）和符号方程求解器（Wolfram-Alpha API）——通过对数学推理数据集的评估。我们在MATH（一个用于评估不同数学学科数学推理的流行数据集）上进行了详尽的消融实验。我们还进行了涉及知名工具规划器的实验，以研究工具排序对模型性能的影响。MathSensei在MATH数据集上比使用思维链的gpt-3.5-turbo准确率提高了13.5%。我们进一步观察到，TALM对于更简单的数学应用题（在GSM-8K中）效果不佳，并且随着复杂性和所需知识的增加（在AQuA、MMLU-Math和MATH中更高级别的复杂问题上逐步提高），益处增加。代码和数据可在https://github.com/Debrup-61/MathSensei获取。
引用
@article{arxiv.2402.17231,
title = {MATHSENSEI: A Tool-Augmented Large Language Model for Mathematical Reasoning},
author = {Debrup Das and Debopriyo Banerjee and Somak Aditya and Ashish Kulkarni},
journal= {arXiv preprint arXiv:2402.17231},
year = {2024}
}