MrRoPE：混合进制旋转位置嵌入
计算与语言
2026-02-02 v1
摘要
旋转位置嵌入（RoPE）扩展指的是修改或推广旋转位置嵌入方案，以处理超过预训练期间所遇到的更长序列。然而，当前的扩展策略高度多样且缺乏统一的理论基础。本文提出 MrRoPE（混合进制 RoPE），这是一种基于进制转换视角的通用编码公式，优雅地将各种 RoPE 扩展方法统一为不同的进制转换策略。在此理论基础上，我们引入两种训练-free 扩展方法，MrRoPE-Uni 和 MrRoPE-Pro，分别利用均匀和渐进式进制转换策略，以实现"训练短于测试长"的泛化。无需微调，MrRoPE-Pro 在 128K 上下文 Needle-in-a-Haystack 测试中保持超过 85% 的召回率，并在 Infinite-Bench 检索和对话子集上实现超过 YaRN 两倍的准确率。理论分析表明，MrRoPE-Pro 有效提升了 RoPE 可达编码长度的上限，这进一步验证了我们理论和方法的可靠性和实用性。
关键词
引用
@article{arxiv.2601.22181,
title = {MrRoPE: Mixed-radix Rotary Position Embedding},
author = {Qingyuan Tian and Wenhong Zhu and Xiaoran Liu and Xiaofeng Wang and Rui Wang},
journal= {arXiv preprint arXiv:2601.22181},
year = {2026}
}