前提增强推理链提升 LLM 数学推理中的错误识别
计算与语言
2025-09-25 v6
摘要
思维链提示通过实现详细的逐步解决方案，增强了大型语言模型（LLMs）的数学推理能力。然而，由于 LLMs 的冗长性，生成的推理链可能很长，这使得验证推理步骤以及追踪由步骤序列中可能相距较远的步骤之间的依赖关系所导致的问题变得更加困难。重要的是，数学推理允许每个步骤从一小部分前提中推导出来，这些前提是推理链中前序步骤的子集。在本文中，我们提出了一个识别每个步骤前提的框架，以改进对推理的评估。我们通过引入前提链接，将传统的线性推理链重构为前提增强推理链，从而生成一个有向无环图，其中节点为步骤，边为前提链接。通过使用我们构建的基于 PARC 的数据集 PERL（LLMs 中的前提与错误识别），我们证明了 LLMs 能够可靠地识别复杂推理链中的前提。具体而言，即使是开源 LLMs 在前提识别中也达到了 90% 的召回率。我们还表明，PARC 有助于更可靠地识别推理链中的错误。当在 PARC 中基于前提进行逐步验证时，错误识别的准确率绝对提升了 6% 至 16%。我们的发现突出了以前提为中心的表示在处理复杂问题求解任务中的效用，并为提高基于 LLM 的推理评估的可靠性开辟了新途径。
引用
@article{arxiv.2502.02362,
title = {Premise-Augmented Reasoning Chains Improve Error Identification in Math reasoning with LLMs},
author = {Sagnik Mukherjee and Abhinav Chinta and Takyoung Kim and Tarun Anoop Sharma and Dilek Hakkani-Tür},
journal= {arXiv preprint arXiv:2502.02362},
year = {2025}
}
备注
Accepted at ICML 2025