循环推理语言模型的机械化分析

推理已成为大语言模型中的核心能力。最近的研究表明，通过在潜在维度上循环调用 LLM 的各层，可以提高推理性能，这导致了循环推理语言模型的出现。尽管已取得鼎舞的结果，但鲜有工作探究了它们的内部动力学如何不同于标准前馈模型。在本文中，我们对循环语言模型的潜在状态进行机械化分析，特别关注前馈模型中观察到的各个阶段与循环模型中观察到的各个阶段之间的比较。为此，我们分析了循环 recurrence，证明对于我们研究的许多模型，每一层在循环中都会收敛到一个 distinct 的固定点；因此，循环块在潜在空间中遵循一致的循环轨迹。我们提供证据表明，随着这些固定点的到达，注意力头行为会稳定，从而在多次循环中保持恒定行为。实验上，我们发现循环块学习的推理阶段与前馈模型的推理阶段非常接近，并在每次迭代中以深度重复这些阶段。我们研究了循环块大小、输入注入和归一化如何影响这些循环固定点的出现和稳定性。我们认为这些发现有助于将机械化见解转化为实际的架构设计指导。