Transformer 模型中逆置换学习的不可能性
机器学习
2025-12-11 v3 人工智能
摘要
在本技术报告中，我们研究 decoder-only transformer 中的逆置换学习问题。给定一个置换及其作用后的字符串，模型的任务是生成原始的（“规范”）字符串。我们论证该任务建模了多种推理任务中的一种自然鲁棒性属性，包括长上下文检索、多选问答和上下文学习。我们的主要贡献是一个不可能性结果：我们证明任意深度的 decoder-only transformer 无法学习该任务。该结果涉及 decoder-only transformer 模型的表达能力，且与训练动态或样本复杂度无关。我们给出了两种替代构造，在此之下逆置换学习是可行的。第一种突出了因果注意力掩码的根本作用，并揭示了 encoder-decoder transformer 与更流行的 decoder-only 架构在表达能力上的差距。后一个结果更为惊人：我们证明仅用“草稿词元”填充输入即可产生一种使逆置换学习可行的构造。我们推测，这可能提示了另一种机制，即思维链提示或更一般的中间“思考”词元能够使大语言模型实现推理，即使这些词元不编码任何有意义的语义信息（例如中间计算的结果）。
引用
@article{arxiv.2509.24125,
title = {The Impossibility of Inverse Permutation Learning in Transformer Models},
author = {Rohan Alur and Chris Hays and Manish Raghavan and Devavrat Shah},
journal= {arXiv preprint arXiv:2509.24125},
year = {2025}
}