带填充词的Transformer的精确表达力

链式思维是一种通过推理时间增加Transformer-based大语言模型(LLM)计算能力的自然方法，但需要顺序解码。是否有更高效的替代方案可以在不增加参数的情况下扩充Transformer的表达力？我们将带填充词的Transformer视为可并行化的测试时间计算形式。我们证明，平均-硬注意力、带掩码前置规范的Transformer带多项式填充词识别恰好是类$\\mathsf{FO}$-uniform $\\mathsf{TC}^0$的极度可并行问题。虽然$\\mathsf{TC}^0$上界已为人知，但证明匹配的下界一直备受追捧。此外，我们的新型分析揭示了带填充词的Transformer与另一种推理时间计算形式（即通过动态增加深度实现循环）时，精确的扩展后的表达力。我们的核心技术贡献是表明填充词有助于将完备问题和归约的概念——这是经典复杂性理论的基石——引入对Transformer正式研究的工具。凭借这项新工具，我们证明带$\\mathsf{O}(\\log^d n)$循环的填充Transformer识别恰好是类$\\mathsf{FO}$-uniform $\\mathsf{TC}^d$的适度可并行问题。因此，填充和循环系统性地扩展了Transformer的表达力：具有多项式填充的循环Transformer识别恰好是类$\\mathsf{FO}$-uniform $\\mathsf{NC}$——除非$\\mathsf{NC} = \\mathsf{P}$，否则这是最佳可能的而不损失并行性。我们的结果因此动机进一步探索填充和循环作为链式思维的可并行化替代方案用于测试时间计算。