旋转位置嵌入可能在长距离检索的注意力头中导致维度低效
计算与语言
2025-02-18 v1 机器学习
摘要
旋转位置嵌入（RoPE）被广泛使用于许多大语言模型（LLM）的注意力头中。它根据输入序列中token的位置，以不同的角度旋转查询向量和键向量的维度。对于长上下文建模，位置范围可能变化很大，因此RoPE会以很大的角度范围旋转某些维度。我们假设，宽泛的旋转角度范围可能阻止LLM有效利用这些维度。为验证该假设，我们设计了一个受控实验，表明应用RoPE会导致某些维度的效用降低。我们对三个LLM的分析也表明，这些维度无助于LLM进行长上下文问答。
引用
@article{arxiv.2502.11276,
title = {The Rotary Position Embedding May Cause Dimension Inefficiency in Attention Heads for Long-Distance Retrieval},
author = {Ting-Rui Chiang and Dani Yogatama},
journal= {arXiv preprint arXiv:2502.11276},
year = {2025}
}