ComRoPE：通过可训练交换角矩阵实现可扩展且鲁棒的旋转位置嵌入参数化
计算机视觉与模式识别
2025-06-05 v1 人工智能
摘要
Transformer架构自提出以来已革新了各个领域，其有效性很大程度上取决于编码位置信息的能力。传统的位置编码方法由于缺乏位置鲁棒性和灵活性而表现出显著局限性。因此，提出了旋转位置编码（RoPE）来缓解这些问题，它通过在注意力机制中旋转嵌入来整合位置信息。然而，RoPE需要手动定义的旋转矩阵，其变换空间有限，限制了模型的能力。在本工作中，我们提出了ComRoPE，通过可训练交换角矩阵来推广RoPE。具体而言，我们证明了这些矩阵的两两交换性对于RoPE实现可扩展性和位置鲁棒性至关重要。我们正式定义了RoPE方程，这是确保位置偏移下性能一致性的必要条件。基于理论分析，我们提出了两种类型的可训练交换角矩阵作为RoPE方程的充分解，在ImageNet-1K数据集上显著提升了性能，在训练分辨率下超越当前最先进方法1.6%，在更高分辨率下超越2.9%。此外，我们的框架展示了在推广到现有RoPE公式方面的通用性，并为未来的位置编码研究提供了新见解。为确保可复现性，源代码和说明可在 https://github.com/Longin-Yu/ComRoPE 获取。
引用
@article{arxiv.2506.03737,
title = {ComRoPE: Scalable and Robust Rotary Position Embedding Parameterized by Trainable Commuting Angle Matrices},
author = {Hao Yu and Tangyu Jiang and Shuning Jia and Shannan Yan and Shunning Liu and Haolong Qian and Guanghao Li and Shuting Dong and Huaisong Zhang and Chun Yuan},
journal= {arXiv preprint arXiv:2506.03737},
year = {2025}
}