具有思维链的Transformer的表达能力

近期的理论工作已识别出一些令人惊讶的简单推理问题，例如检查图中两个节点是否连通或模拟有限状态机，这些问题对于在读入输入后立即作答的标准transformer而言是证明不可解的。然而在实践中，允许transformer使用“思维链”或“草稿板”（即在回答前生成并以一系列中间token为条件）可改善其推理能力。受此启发，我们追问：此类中间生成是否从根本上扩展了仅解码器transformer的计算能力？我们表明答案是肯定的，但提升幅度关键取决于中间生成的数量。例如，我们发现具有对数级解码步数（相对于输入长度）的transformer解码器仅将标准transformer的极限略微推后，而线性级解码步数（假设projected pre-norm，即标准pre-norm的轻微推广）则增添了一项明确的新能力（在标准复杂性猜想下）：识别所有正则语言。我们的结果还意味着线性步数使transformer解码器保持在上下文无关语言内，而具有广义pre-norm的多项式步数使它们精确识别多项式时间可解问题的类——这是首次以标准复杂性类对一类transformer的精确刻画。总之，这为理解transformer思维链或草稿板的长度如何影响其推理能力提供了一个细致的框架。