部分 RoPE 的性能与收敛性：对分数旋转位置编码的系统性探讨
机器学习
2026-03-13 v1 计算与语言
摘要
旋转位置编码（RoPE）是变压器架构中编码相对位置信息的常用方法。虽然已有研究考察了在特定层上省略 RoPE 的效果，但改变接收旋转变换的隐藏维度比例的影响仍基本未被探讨。这种设计选择可以在长序列长度下实现显著的内存节省。我们发现相较于标准 RoPE 缓存，采用部分 RoPE 可实现最高达 10 倍的内存节省，而最终损失值保持可比。本文系统性地考察了部分 RoPE 对训练动力学和收敛性的影响，涵盖不同的架构和数据集。我们的发现揭示了若干值得注意的模式：（1）仅对约 10% 的维度应用 RoPE 即可实现与完全应用 RoPE 相当的收敛效果；（2）这些趋势在模型规模、序列长度以及数据质量和架构不同的数据集上均表现出一致，高质量数据导致更低的整体损失值且在基准测试上性能相似；（3）一些使用 NoPE（无位置编码）训练的模型展现出不稳定的学习轨迹，最小化的 RoPE 应用或 QK-Norm 可有效缓解这种不稳定，尽管收敛到更高的损失值。综合这些结果，为模型设计者提供了在效率与训练稳定性之间取得平衡的实用指导，同时强调了部分 RoPE 之前被忽视的重要性。
引用
@article{arxiv.2603.11611,
title = {Fractional Rotation, Full Potential? Investigating Performance and Convergence of Partial RoPE},
author = {Mohammad Aflah Khan and Krishna P. Gummadi and Manish Gupta and Abhilasha Ravichander},
journal= {arXiv preprint arXiv:2603.11611},
year = {2026}
}