潜在思维链中的动力学：因果结构的实证研究

潜在或连续思维链方法用若干内部潜在步骤取代显式的文本推理过程，但这些中间计算难以通过基于相关性的探针进行评估。在本文中，我们将潜在思维链视为表示空间中的一个可操控因果过程，通过将潜在步骤建模为结构因果模型中的变量，并利用逐步干预分析其效应。我们研究了两个代表性范式（即Coconut和CODI）在数学和通用推理任务上的表现，以探究三个关键问题：(1) 哪些步骤对正确性具有因果必要性，以及答案何时可以早期解码；(2) 影响如何在步骤间传播，以及这种结构与显式思维链相比如何；(3) 中间轨迹是否保留竞争性答案模式，以及输出层面的承诺与步骤间的表示层面承诺有何不同。我们发现，潜在步骤预算的行为更像具有非局部路由的分阶段功能，而非同质的额外深度，并且我们识别出早期输出偏差与后期表示承诺之间的持续差距。这些结果促使我们采用模式条件和稳定性感知分析，以及相应的训练/解码目标，作为解释和改进潜在推理系统的更可靠工具。代码可在 https://github.com/J1mL1/causal-latent-cot 获取。