关于更高 RoPE 注意力维度的 token 距离建模能力

基于 Rotary position embedding（RoPE）的长度外推算法在延长语言模型上下文长度方面显示出前景，但如何利用位置嵌入捕获更长程上下文信息仍鲜有了解。基于不同维度对应 RoPE 编码中变化频率的直觉，我们进行了维度级别的分析，以检验隐藏维度注意力头与其捕获长程依赖贡献之间的相关性。通过我们的相关性指标，我们从各种长度外推模型中识别出一种称为位置头（Positional Heads）的注意力头类型。这些头在长程信息交互方面表现出强烈关注，证据通过我们的消融实验表明它们在处理长输入中起关键作用。我们进一步展示了长度外推效率与这些头在高维注意力分配上的扩展之间存在相关性。位置头的识别为未来研究长文本理解提供了洞见。