变形器能否计数到 n ？
计算与语言
2026-02-26 v3 人工智能
机器学习
摘要
基于变形器架构的大语言模型能够解决高度复杂的任务，但其对简单算法问题的基本局限性仍不被充分理解。在本工作中，我们聚焦于基本计数任务，探讨了这些任务的难度如何随变形器嵌入维度、上下文长度和词汇表大小的变化而变化。我们发现，一种尖锐的理论相位转变由嵌入维度与词汇表大小之间的关系所支配。当维度至少等于词汇表大小时，变形器能够完美地维护 token 计数。然而，当词汇表超过嵌入维度时，来自非正交 token 表示之间的相互作用会导致网络权重按多项式比例缩放。这使得精确计数算法在数值上不稳定且实际上难以学习。我们通过从头训练变形器进行经验验证，证明了该瓶颈，并在理论阈值处表现显著下降，当扩展词汇表或上下文长度时发生灾难性的分布外失效。此外，我们展示了最先进的预训练模型也存在类似的失效情况。我们的工作揭示了当前文献中关于这三个参数之间关系的关键盲点，证明词汇表大小根本决定了计数任务的难度。
引用
@article{arxiv.2407.15160,
title = {When Can Transformers Count to n?},
author = {Gilad Yehudai and Haim Kaplan and Guy Dar and Royi Rassin and Asma Ghandeharioun and Mor Geva and Amir Globerson},
journal= {arXiv preprint arXiv:2407.15160},
year = {2026}
}