变压器能生成多少不同的输出？
机器学习
2026-05-22 v1
摘要
我们研究如何仅利用变压器架构的少数特征，就能紧密预测其可输出的不同序列的数量，既定性地又定量地。我们提供一个上限，取决于提示词的长度，我们在不同架构和模型大小上都证明了该上限在小于 10 的因子内是紧密的。我们的分析还提供了对变压器在简单序列任务（如复制和压满）上先前观察到的经验性失败的理论解释。形式上，我们证明：(i) 可访问序列的最大长度（即对于某个提示词，变压器可以输出的序列）随提示词长度线性增长；(ii) 在某个临界阈值之后，可访问序列的比例随序列长度呈指数衰减；(iii) 将提示词长度与可访问序列长度相关的线性系数 admits 一个理论上界。值得注意的是，即使在上下文和计算时间无限制的情况下，这些结果也成立。
引用
@article{arxiv.2605.22223,
title = {How Many Different Outputs Can a Transformer Generate?},
author = {Maxime Meyer and Mario Michelessa and Caroline Chaux and Vincent Y. F. Tan},
journal= {arXiv preprint arXiv:2605.22223},
year = {2026}
}
备注
ICML 2026 Spotlight