深入 C-RASP：转换器深度层级
计算与语言
2026-01-21 v3 形式语言与自动机理论
摘要
人们已观察到，深度更大的转换器（即更多层数）具有更强的能力，但我们能否形式化地确定到底获得了哪些能力呢？我们通过理论证明后跟经验研究来回答此问题。首先，我们考虑仅在注意力内部以固定精度进行舍入的转换器。我们证明，这类转换器在表达能力上等价于编程语言 C-RASP，且该等价性保持深度。随后，我们证明更深层的 C-RASP 程序的表达能力优于较浅层的 C-RASP 程序，从而推导出更深层的转换器在表达能力上优于较浅层的转换器（在上述子类范围内）。对于带有位置编码（如 RoPE 和 ALiBi）的转换器，同样也得到了该结论。这些结果通过研究等价于 C-RASP 的时序逻辑并带有计数运算符来建立。最后，我们提供经验证据表明我们的理论能够预测在无位置编码的转换器上，对一系列序列依赖任务进行长度泛化所需的深度。
引用
@article{arxiv.2506.16055,
title = {Knee-Deep in C-RASP: A Transformer Depth Hierarchy},
author = {Andy Yang and Michaël Cadilhac and David Chiang},
journal= {arXiv preprint arXiv:2506.16055},
year = {2026}
}
备注
35 pages, 5 figures