大型语言模型的推理停滞：对前沿模型能力的调查
人工智能
2025-09-18 v3
摘要
本文研究了检验大型语言模型使用自动定理证明器推理策略能力的实证方法。我们评估了 2023 年 12 月和 2024 年 8 月的最先进模型在 PRONTOQA 蒸汽压路机推理问题上的表现。为此，我们开发了评估 LLM 响应准确率和正确答案相关性的方法。我们的结果表明，在九个月的时间里，提升 LLM 推理能力的进展已经停滞。通过追踪补全标记，我们表明，自 GPT-4 发布以来，推理能力的几乎所有提升都可以归因于隐藏的系统提示或训练模型自动使用通用的思维链提示策略。在尝试的 ATP 推理策略中，我们发现当前的前沿 LLMs 最能遵循自底向上（也称为前向链）策略。在包含正确推理的 LLM 响应与得出正确结论之间发现了较低的正相关性。
引用
@article{arxiv.2505.19676,
title = {Large Language Models' Reasoning Stalls: An Investigation into the Capabilities of Frontier Models},
author = {Lachlan McGinness and Peter Baumgartner},
journal= {arXiv preprint arXiv:2505.19676},
year = {2025}
}
备注
The original version of this article was withdrawn because there were errors in the evaluation of model faithfulness to reasoning strategies and completeness of reasoning. The analysis was re-conducted correctly and version two contains the corrections