从链路思考推理中揭示确认偏差

链路思考 (CoT) 提示法已被广泛采用以增强大型语言模型 (LLM) 的推理能力。然而，CoT 推理在不同推理类型的任务中的效果不一致。本工作提出了一种新视角，通过认知心理学中的确认偏差来理解 CoT 行为。具体我们考察了模型内部信念——近似为直接问答概率——如何影响 CoT 中的推理生成 ($Q \to R$) 和推理引导的答案预测 ($QR \to A$)。通过将 CoT 分解为两个阶段，我们进行了彻底的相关性分析，涉及模型信念、理由属性和阶段性能。我们的结果为 LLM 中确认偏差的存在提供了强有力的证据，模型信念不仅会偏斜推理过程，还会影响理由如何被用于答案预测。此外，任务对确认偏差的脆弱性与信念强度之间的相互作用也为 CoT 在不同推理任务和模型中的效果提供了解释。总体而言，本研究为需要更好提示策略以缓解确认偏差以提升推理性能的需求提供了宝贵见解。代码已公开于 \textit{https://github.com/yuewan2/biasedcot}。