变压器可证明学习内联链路思考
机器学习
2026-05-28 v1
摘要
链路思考 (CoT) 提示在显著提升变压器的样本效率方面发挥作用，将诸如奇偶学习等任务的复杂度从指数级降低为线性。然而，在推理时生成显式推理步骤代价高昂。隐式链路思考 (ICoT) 作为一种有前景的经验性解决方案，使模型能够在隐藏状态中内化中间步骤，但其理论基础仍不完整。我们给出 ICoT 的首个理论分析，证明在我们提出的 Log-ICoT 课程下训练的 层变压器能够以 样本学习 奇偶，并在 训练阶段内完成。这匹配显式 CoT 的样本效率，同时消除其推理开销，并将先前的单层奇偶保证推广至多层架构。与标准 ICoT 逐项移除思考标记不同，Log-ICoT 以几何块形式移除，使阶段数从线性降为对数。多层变压器的实验验证了理论，并可视化了推理是如何逐层内化于更深层次中的。
引用
@article{arxiv.2605.28600,
title = {Transformers Provably Learn to Internalize Chain-of-Thought},
author = {Yixiao Huang and Hanlin Zhu and Zixuan Wang and Jiantao Jiao and Stuart Russell and Somayeh Sojoudi and Song Mei},
journal= {arXiv preprint arXiv:2605.28600},
year = {2026}
}