自回归推理的内在稳定性极限：长程执行的结构性后果

大语言模型（LLM）在推理任务中展现出惊人的能力，但在长程任务中表现常在特定尺度后急剧恶化，出现系统性崩溃。常规解释主要将这一现象归因于任务复杂性，如组合搜索爆炸或长期信用分配挑战。在本文中，我们认为这些解释不完整：即便在线性、无分支且无语义歧义的任务中，自回归执行也受制于内在稳定性极限。我们提出，长程推理的根本约束源于自回归生成过程的过程级不稳定性，而非仅来自搜索或任务复杂性，这将长程推理重新框定为结构治理问题。我们推导定理 A，表明单路径自回归推理中的决策优势随执行长度呈指数衰减，施加了可维护推理链的根本限制。这一结果暗示结构性后果：稳定的长程推理需要离散分段，自然诱导出类似有向无环图（DAG）的执行结构。实证研究在合成环境和真实 TextWorld 任务中揭示了一系列可观测的性能临界值，与理论预测一致。我们的发现为长程推理失败提供了动力学视角，并指出在纯粹自回归架构下维持长期一致性存在新限制。进一步地，我们指出短程评估协议可能掩盖结构性不稳定，表明未来推理系统可能从规模扩张转向结构化治理。