第一印象问题:内部偏差触发推理模型的过度思考
人工智能
2026-03-03 v4
摘要
推理模型常表现出过度思考,表现为冗余的推理步骤。我们识别出输入问题所引发的\emph{内部偏差}是引发此类行为的关键因素。在遇到问题时,模型会立即对答案形成初步猜测,我们称之为内部偏差,因为该猜测可能并非显式生成,且在系统性推理之前即产生。当该猜测与随后的推理相冲突时,模型倾向于进行过度反思,导致计算资源浪费。我们在多个模型和多样化推理任务中验证了内部偏差与过度思考之间的关联性。为更严谨地证明因果关系,我们进行了两种反事实干预,结果表明删除输入问题后可减少各种复杂推理任务中的冗余推理,手动注入偏差亦会相应影响过度思考程度。进一步的可解释性实验表明,过度关注输入问题是内部偏差影响后续推理轨迹的关键机制。最后,我们评估了多种旨在缓解过度思考的方法,结果显示内部偏差在所有条件下均未被消除。
引用
@article{arxiv.2505.16448,
title = {The First Impression Problem: Internal Bias Triggers Overthinking in Reasoning Models},
author = {Renfei Dang and Zhening Li and Shujian Huang and Jiajun Chen},
journal= {arXiv preprint arXiv:2505.16448},
year = {2026}
}
备注
ICLR 2026 poster