CRoPE：旋转位置编码的高效参数化
机器学习
2026-04-02 v2
摘要
旋转位置编码已成为Transformer类模型中编码位置信息的前沿方法。虽然该方法常以复杂的线性代数形式呈现，但我们指出 投影的实际实现并不等价于复数线性变换。我们认为复数线性变换是一种更自然的参数化方式，可在注意力模块中节省近50%的参数。我们通过实验表明，移除此类冗余对模型性能几乎没有显著影响。我们的修改实现了更高效的参数使用，同时也提供了更清晰的表征空间解释。
关键词
引用
@article{arxiv.2601.02728,
title = {CRoPE: Efficient Parametrization of Rotary Positional Embedding},
author = {Beicheng Lou and Zifei Xu and Vivian W. H. Wong},
journal= {arXiv preprint arXiv:2601.02728},
year = {2026}
}