链路思维 (CoT) 推理潜力：对轨迹动力学的深入分析
人工智能
2026-02-26 v2
摘要
链路思维 (CoT) 提示是从大型语言模型 (LLMs) 中引导推理类响应的事实标准技术，使其能够在给出最终答案之前阐述 individual 步骤。虽然这种类似人类推理的外观毫无疑问地令人印象深刻，但支撑 CoT 推理成功的驱动力仍然鲜有人知。本文对源自竞赛水平数学问题的 CoT 轨迹进行深入分析，旨在更好地理解 CoT 实际上贡献于最终答案的哪些部分。为此，我们引入了潜力的概念，量化给定 CoT 部分增加正确完成概率的程度。通过对推理轨迹的潜力视角进行检查，我们识别出包括 (1) 其常常强烈的非单调性（由于推理切线），(2) 非常尖锐但有时难以解释的尖峰（推理洞察和跳跃），以及 (3) 时有幸运猜测，在这些情况下，模型在提供任何相关论证之前即得出正确答案。虽然一些潜力行为是可解释的并与人类直觉一致（如洞察和切线），但其他行为仍然难以从人类视角理解。为进一步量化 LLMs 对推理洞察的依赖，我们研究了 CoT 可迁移性，其中我们测量较弱模型在来自另一个更强模型的部分 CoT 下的潜力。确实与我们的先前结果一致，我们发现即使只有 20% 的部分 CoT 即可“解锁”较弱模型在此前无法解决的问题上的性能，凸显了支撑 CoT 机制的大部分方面是可迁移的。
引用
@article{arxiv.2602.14903,
title = {The Potential of CoT for Reasoning: A Closer Look at Trace Dynamics},
author = {Gregor Bachmann and Yichen Jiang and Seyed Mohsen Moosavi Dezfooli and Moin Nabi},
journal= {arXiv preprint arXiv:2602.14903},
year = {2026}
}