CoT 还是 Looped？思维链与循环 Transformer 的形式化比较

思维链与循环 Transformer 已被证明在经验上能提升推理任务的性能，并在理论上通过递归增加计算步数来增强表达能力。然而，它们的相对能力仍未被充分理解。在本文中，我们对它们各自的优势与局限性提供了形式化分析。我们表明，循环 Transformer 能够高效模拟确定性任务的并行计算，我们将其形式化为有向无环图上的求值。相比之下，采用随机解码的 CoT 擅长于组合结构（即自可归约问题）的近似推断。这些分离表明了深度驱动递归更适合的任务，从而为在推理范式之间进行选择提供了实用线索。