傅里叶位置嵌入: 增强注意力的周期性扩展以实现长度泛化
人工智能
2025-07-15 v4 计算与语言
摘要
通过改进旋转位置嵌入(RoPE)来扩展语言模型(LMs)的上下文长度成为一种趋势。虽然先前的工作主要在注意力内部解决了 RoPE 的局限性，但本文揭示了 nearly all LMs 部分对长度泛化产生不利影响。使用离散信号处理理论，我们展示了 RoPE 通过隐式实现非均匀离散傅里叶变换(NDFT)从而实现了周期性注意力。然而，这种周期性被以下造成的谱损伤所削弱: 1) 线性层和激活函数; 2) 由于时域截断带来的训练不足的频率分量。建立在我们观察之上，我们提出了傅里叶位置嵌入(FoPE)，通过增强注意力的频率域属性来提高其周期性扩展和长度泛化。FoPE 构建\textit{傅里叶级数}并消除破坏性频率分量，增加了模型对谱损伤的鲁棒性。在各种模型规模和基准测试中实验表明，在不同上下文窗口内，FoPE 相比其他基线保持更稳定的性能。Several analyses and ablations bring further support to our method and theoretical modeling. 实验结果进一步支持我们的方法和理论建模。
引用
@article{arxiv.2412.17739,
title = {Fourier Position Embedding: Enhancing Attention's Periodic Extension for Length Generalization},
author = {Ermo Hua and Che Jiang and Xingtai Lv and Kaiyan Zhang and Youbang Sun and Yuchen Fan and Xuekai Zhu and Biqing Qi and Ning Ding and Bowen Zhou},
journal= {arXiv preprint arXiv:2412.17739},
year = {2025}
}
备注
Accepted to ICML 2025