RoPE的基数限制上下文长度
计算与语言
2024-05-24 v1
摘要
位置嵌入是当前大型语言模型（LLMs）的核心组件。旋转位置嵌入（RoPE）是一种通过旋转矩阵编码位置信息的技术，已成为许多LLMs（如Llama系列）的位置嵌入事实标准选择。RoPE进一步被用于扩展长上下文能力，大致基于调整RoPE的“基数”参数来缓解位置嵌入的离分布（OOD）问题。然而，本文我们发现，LLMs可能基于OOD理论获得表面上的长上下文能力。我们重新审视RoPE在LLMs中的作用，提出了一种新的长期衰减属性，推导出RoPE的“基数限制上下文长度”：基数值存在绝对下限，以获得特定的上下文长度能力。我们的工作从理论和经验两方面揭示了上下文长度与RoPE基数之间的关系，这可能为未来的长上下文训练提供启示。
引用
@article{arxiv.2405.14591,
title = {Base of RoPE Bounds Context Length},
author = {Xin Men and Mingyu Xu and Bingning Wang and Qingyu Zhang and Hongyu Lin and Xianpei Han and Weipeng Chen},
journal= {arXiv preprint arXiv:2405.14591},
year = {2024}
}
备注
17 pages