超越实数：长上下文LLM中旋转位置嵌入的虚数扩展
计算与语言
2025-12-09 v1
摘要
旋转位置嵌入（RoPE）已成为在大型语言模型（LLM）中编码序列顺序的标准方法，通过在复平面上对查询和键向量应用旋转。然而，标准实现仅利用复值点积的实部进行注意力分数计算。这种简化丢弃了包含宝贵相位信息的虚部，导致建模长上下文依赖时可能丢失关键的关系细节。在本文中，我们提出了一种重新引入该被丢弃虚部的扩展方法。我们的方法利用完整的复值表示来创建双分量注意力分数。我们通过理论和实证证明，该方法通过保留更多位置信息增强了对长上下文依赖的建模。此外，在一系列长上下文语言建模基准测试上的评估表明，我们的方法相对于标准RoPE持续提升性能，且随着上下文长度增加，优势更加显著。代码可在 https://github.com/OpenMOSS/rope_pp 获取。
引用
@article{arxiv.2512.07525,
title = {Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs},
author = {Xiaoran Liu and Yuerong Song and Zhigeng Liu and Zengfeng Huang and Qipeng Guo and Zhaoxiang Liu and Shiguo Lian and Ziwei He and Xipeng Qiu},
journal= {arXiv preprint arXiv:2512.07525},
year = {2025}
}
备注
20 pages, 6 figures, under review