基于连续思维的叠加推理：链式连续思维的理论视角

大语言模型（LLMs）在诸多应用中展现出惊人的性能，包括通过链式思维（CoTs）技术生成“思考标记”来解决具有挑战性的推理问题。虽然现有理论工作表明，离散 CoTs 通过提升 LLMs 的能力，但近期关于连续 CoTs 的工作尚缺乏对其为何在各种推理任务中（如有向图可达性——涵盖众多实际领域的特殊情况）优于离散方法的理论理解。本文我们证明，具有 $D$ 步连续 CoTs 的两层 transformer 能够解答有向图可达性问题，其中 $D$ 为图的直径；而常数深度的离散 CoTs 最佳已知结果需要 $O(n^2)$ 个解码步骤，其中 $n$ 为顶点数（$D < n$）。在我们的构造中，每个连续思维向量都是一种叠加态，同时编码多个搜索前沿（即并行广度优先搜索（BFS）），而离散 CoTs 必须从叠加态中选择单个抽样路径，从而导致顺序搜索，需要更多步骤且可能陷入局部解。我们还进行了大量实验验证，证明我们的理论构造与通过训练动力学获得的经验解相吻合。值得注意的是，作为叠加态对多个搜索前沿的编码在训练连续 CoTs 时会自动涌现，无需显式监督即可引导模型同时探索多个路径。