评估与改进工具增强的计算密集型数学推理
计算与语言
2023-06-06 v1
摘要
思维链提示（CoT）与工具增强在近期工作中已被验证为提升大语言模型（LLMs）在复杂数学相关任务上执行逐步推理的有效做法。然而，大多数现有的数学推理数据集可能不足以充分评估和分析LLMs操纵工具与执行推理的能力，因为它们可能仅需要极少的工具调用或缺少用于评估中间推理步骤的标注。为解决该问题，我们构建了\textbf{CARP}，一个由4,886道带中间步骤形式化标注的计算密集型代数题组成的新中文数据集。在CARP中，我们测试了四种采用CoT提示的LLMs，发现它们都易于在求解的早期步骤出错，从而导致错误答案。基于该发现，我们提出一种可利用工具接口对推理步骤进行审慎处理的新方法，即\textbf{DELI}。在DELI中，我们首先基于检索到的示例初始化逐步求解方案，然后迭代两种审慎过程，从工具操纵与自然语言推理的角度检查并精炼所生成方案的中间步骤，直至获得收敛解或达到最大轮数。在CARP及另外六个数据集上的实验结果表明，所提出的DELI在大多数情况下优于竞争基线，并能够进一步提升现有CoT方法的性能。我们的数据与代码见\url{https://github.com/RUCAIBox/CARP}。
引用
@article{arxiv.2306.02408,
title = {Evaluating and Improving Tool-Augmented Computation-Intensive Math Reasoning},
author = {Beichen Zhang and Kun Zhou and Xilin Wei and Wayne Xin Zhao and Jing Sha and Shijin Wang and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2306.02408},
year = {2023}
}
备注
17 pages, working in progress