误思的危险：探讨代理任务中的推理-行动困境
人工智能
2025-02-13 v1
摘要
大规模推理模型（Large Reasoning Models, LRMs）代表了 AI 问题解决能力的突破，但在交互式环境中的有效性有限。本文引入并分析了 LRMs 中的误思现象，即模型倾向于优先选择延长的内部推理链而非与环境交互。通过在使用 SWE Bench Verified 的软件工程任务上进行实验，我们观察到三种反复出现的模式：分析瘫痪、异常行动和过早退出。我们提出了一种研究这些行为的框架，该框架与人类专家评估相关，并分析了 4018 条轨迹。我们观察到，更高的误思分数与性能下降相关，推理模型相对于非推理模型表现出更强的误思倾向。我们的分析表明，针对代理环境中的误思采取简单的缓解措施，例如选择较低的误思分数的解决方案，可使模型性能提升约 30%，同时将计算成本降低 43%。这些结果表明，缓解误思具有强大的实际意义。我们建议通过利用原生函数调用能力和选择性强化学习，可以缓解误思倾向。我们还开源了我们的评估框架和数据集，以便在此方向上推动研究，网址为 https://github.com/AlexCuadron/Overthinking。
引用
@article{arxiv.2502.08235,
title = {The Danger of Overthinking: Examining the Reasoning-Action Dilemma in Agentic Tasks},
author = {Alejandro Cuadron and Dacheng Li and Wenjie Ma and Xingyao Wang and Yichuan Wang and Siyuan Zhuang and Shu Liu and Luis Gaspar Schroeder and Tian Xia and Huanzhi Mao and Nicholas Thumiger and Aditya Desai and Ion Stoica and Ana Klimovic and Graham Neubig and Joseph E. Gonzalez},
journal= {arXiv preprint arXiv:2502.08235},
year = {2025}
}