循环往复！旋转位置编码为何有用？
计算与语言
2025-05-14 v3 机器学习
摘要
位置编码（PE）是基于Transformer的大型语言模型（LLM）的关键组成部分，为注意力机制提供重要的序列位置信息。当前LLM中最流行的编码类型之一是旋转位置编码（RoPE），它根据查询和键的相对距离旋转它们。一种普遍的看法是，RoPE之所以有用，是因为它有助于随着相对距离的增加而衰减令牌依赖性。在这项工作中，我们认为这不太可能是核心原因。我们研究了经过训练的Gemma 7B模型的内部机制，以从机械层面理解RoPE是如何被使用的。我们发现Gemma学会了利用RoPE通过利用最高频率来构建鲁棒的“位置”注意力模式。我们还发现，总的来说，Gemma非常倾向于使用RoPE的最低频率，我们怀疑这些频率用于携带语义信息。我们从数学上证明了RoPE的有趣行为，并通过实验验证了我们的发现，提出了一种RoPE的修改方案，该方案修复了一些突出的问题并提高了性能。我们相信这项工作代表了更好地理解LLM中PE的有趣一步，我们认为这对于将LLM扩展到更大的规模和上下文长度具有关键价值。
引用
@article{arxiv.2410.06205,
title = {Round and Round We Go! What makes Rotary Positional Encodings useful?},
author = {Federico Barbero and Alex Vitvitskyi and Christos Perivolaropoulos and Razvan Pascanu and Petar Veličković},
journal= {arXiv preprint arXiv:2410.06205},
year = {2025}
}