深层隐式认知促进可靠的链式思考推理
人工智能
2025-11-26 v2
摘要
链式思考（Chain of Thought, CoT）推理在大型语言模型（LLM）和多模态大型语言模型（MLLM）中展现出卓越的深层推理能力，但因中间步骤误差的累积往往削弱其可靠性。本文提出一种新方法，通过利用模型内在的真实性编码来校准CoT推理准确率。我们发现，特定注意力头的激活能够可靠地反映推理步骤的真实性。基于此洞察，我们训练置信度预测器，使用这些真实性敏感型注意力激活来评估每个推理步骤的正确性，通过束搜索动态选择最合理的推理路径。实验结果表明，我们的方法在数学、符号和常识推理任务上显著优于最新基线方法（如 Few-Shot CoT、Self-Consistency 和 Self-Evaluation Guided Beam Search），在单模态和多模态设置下均展现出更高的准确率和可靠性。我们进一步在大规模推理模型上验证了该方法，确认其对专用推理模型的适用性。此外，我们探讨了模型自我纠错能力在CoT推理中的作用。本工作为CoT推理的可靠性提升提供了一条新路径，具有广泛的应用前景。
引用
@article{arxiv.2507.10007,
title = {Deep Hidden Cognition Facilitates Reliable Chain-of-Thought Reasoning},
author = {Zijun Chen and Wenbo Hu and Richang Hong},
journal= {arXiv preprint arXiv:2507.10007},
year = {2025}
}
备注
This paper has been accepted by AAAI-26