思维链并非真正的推理,它只是一个用于模仿的强约束:理论视角
计算与语言
2025-06-10 v2 人工智能
摘要
思维链(Chain-of-Thought)提示已被证明显著提升了大语言模型在需要多步推理任务上的性能。这一成功引发了关于这些模型涌现推理能力的广泛声称。本文提出一个理论上的反视角:思维链并不能激发真正的、抽象的推理。相反,我们认为思维链作为一种强大的结构约束,引导大语言模型模仿推理的形式。通过强制生成中间步骤,思维链利用模型巨大的序列预测和模式匹配能力,有效地将其输出约束为类似于连贯思维过程的序列。思维链提示已被证明显著提升了大语言模型在需要多步推理任务上的性能。这一成功引发了关于这些模型涌现推理能力的广泛声称。本文提出一个理论上的反视角:思维链并不能激发真正的、抽象的推理。相反,我们认为思维链作为一种强大的结构约束,引导大语言模型模仿推理的形式。通过强制生成中间步骤,思维链利用模型巨大的序列预测和模式匹配能力,有效地将其输出约束为类似于连贯思维过程的序列。
引用
@article{arxiv.2506.02878,
title = {CoT is Not True Reasoning, It Is Just a Tight Constraint to Imitate: A Theory Perspective},
author = {Jintian Shao and Yiming Cheng},
journal= {arXiv preprint arXiv:2506.02878},
year = {2025}
}
备注
Last page bad picture, lacking some sufficient experiments