论 Transformer 中位置偏置的产生机制

近期研究揭示了 Transformer 架构中位置偏置的多种表现形式，从“迷失在中间”现象到注意力汇，然而关于注意力掩码和位置编码如何塑造这些偏置的全面理论理解仍付之阙如。本文提出了一个用于分析多层注意力中位置偏置的图论框架。通过将注意力掩码建模为有向图，我们量化了 token 如何基于其序列位置与上下文信息交互。我们揭示了两项关键洞见：第一，因果掩码本质上使注意力偏向较早位置，因为更深层中的 token 会关注到较早 token 日益丰富的上下文表示。第二，我们刻画了因果掩码与相对位置编码（如衰减掩码和旋转位置编码 (RoPE)）之间的竞争效应：虽然这两种机制在单个注意力图内引入了基于距离的衰减，但它们在多个注意力层上的聚合效应——与因果掩码相结合——导致了长期衰减效应与早期序列位置累积重要性之间的权衡。通过受控数值实验，我们不仅验证了理论发现，还复现了在真实大语言模型 (LLM) 中观察到的位置偏置。我们的框架为理解 Transformer 中的位置偏置提供了原则性基础，揭示了注意力机制各组成部分之间复杂的相互作用，并为更明智的架构设计提供了指导。