推理的几何特征：任务难度的谱视角

思维链 (CoT) 推理使大型语言模型 (LLM) 能够通过生成中间推理步骤来解决复杂问题。虽然人们对这些推理链的长度和内容给予了大量关注，但对其内部几何结构知之甚少。我们研究了 Transformer 模型隐藏状态空间中 CoT 轨迹的\emph{几何结构}，将每个推理链形式化为 $\mathbb{R}^d$ 中的一条离散曲线，并通过谱、位置和运动学几何泛函对其进行表征。我们引入了有效维度 $d_\rho$ 作为轨迹复杂度的度量，并从理论上表明，具有更平坦特征值谱的轨迹对应于更困难的任务，因为它们探索了更多的隐藏维度。最后，我们探讨了轨迹的运动学特征，包括平均位置、位置离散度、初始和当前隐藏状态、平均速度、平均速率和速度离散度，如何用于在生成完成之前预测解决方案的正确性，并可能为未来的早停策略提供信息。在 MATH500 数据集的数学推理问题上，$d_\rho$ 在区分简单和困难问题方面达到了 $0.93$ 的 AUC，而运动学特征可能仅从生成的前 $20\%$ 个 token 就能预测正确性。这些正确性特征可以跨不同难度的问题迁移，表明模型内部推理轨迹的形状是了解任务难度和解决方案质量的一个有原则的窗口。