3D-RPE：通过三维旋转位置编码增强长程上下文建模
计算与语言
2024-06-17 v1
摘要
受 Bloch 球表示的启发，我们提出了一种名为 3D 旋转位置编码（3D Rotary Position Encoding, 3D-RPE）的 novel 三维球面上的旋转位置编码方法。3D-RPE 是广泛使用的 2D 旋转位置编码（RoPE）的进阶版本，具有两个主要优势用于建模长序列上下文：可控的长期衰减和 improved 位置分辨率。对于可控的长期衰减，3D-RPE 允许在块大小内调节长期衰减，从而确保对位于远距离相对位置之间的 token 之间进行相对位置信息建模。对于 enhanced 位置分辨率，3D-RPE 可以缓解位置插值在 RoPE 中导致的位置分辨率下降。我们在长上下文自然语言理解（Natural Language Understanding, NLU）和长序列语言建模（Language Modeling, LM）任务上进行了实验。通过实验结果，3D-RPE 在 RoPE 上取得了性能提升，尤其在长上下文 NLU 任务中表现尤为突出。
引用
@article{arxiv.2406.09897,
title = {3D-RPE: Enhancing Long-Context Modeling Through 3D Rotary Position Encoding},
author = {Xindian Ma and Wenyuan Liu and Peng Zhang and Nan Xu},
journal= {arXiv preprint arXiv:2406.09897},
year = {2024}
}