观点：自回归 Transformer 的图灵完备性高度依赖于上下文管理

许多研究作出引人注目的声称：Transformer 是图灵完备的。然而，文献中常常混淆了两种不同情境：(i) 固定 Transformer 系统情境，即将固定的自回归 Transformer 与固定的上下文管理方法耦合，用于逐步处理不同长度的输入；(ii) 扩张族情境，即使用一族不同模型（随上下文窗口长度或数值精度的增加而变化）来处理不同长度的输入。现有的 Transformer 图灵完备性证明通常是在情境 (ii) 下建立的，而现实中的大型语言模型部署以及标准图灵完备性概念更自然地对应情境 (i)。本文首先形式化了固定系统情境，从而为实际中的大型语言模型操作提供了具体描述。我们进而论证，在扩张族情境下所证明的结果虽然具有理论意义的资源界限，但并不构成图灵完备性，从而澄清了对现有结果常见的误解。最后，我们表明，不同的上下文管理方法会导致计算能力的显著差异，我们主张：上下文管理是决定实际中自回归 Transformer 计算能力的核心组件。