变换器的方向性优化不对称：一个合成压力测试

变换器在理论上是反向不变的：它们的函数类不偏好从左到右或从右到左的映射。然而，关于自然语言的经验研究反复报告了“反转诅咒”，而最近关于LLMs中时间不对称性的工作则暗示真实世界语料携带自身的时间之箭。这留下了一个未解之谜：方向性失败是源于语言统计，还是源于体系结构本身？我们通过一个完全合成的、熵控制的基准测试来切入这种模糊不清，这是一个作为干净室压力测试的方向学习工具。使用可调分支因子K的随机字符串映射，我们构建具有零条件熵的前向任务和具有分析确定熵底的逆向任务。这些熵底以上剩余损失揭示，即使是从头训练的GPT-2模型也表现出强大且可复现的方向性优化差距（例如，在K=5时为1.16个nat），远超在相同数据上训练的MLP的差距。预训练的初始化会影响优化行为，但并不消除这一差距，而LoRA在高熵逆向映射上遇到容量的尖锐墙。总之，这些结果孤立地揭示了变换器训练中固有的最小、无语义的方向摩擦信号——即使在语言先验、标记频率和语料库级别的时间不对称性被移除后也依然存在。我们的基准为解构现代序列模型中的方向偏差提供了受控工具，并激励对为何反转对变换器来说根本更难进行的深层机制研究。