无限上下文 LLMs 的周期性 RoPE

处理超长上下文的能力是大型语言模型 (LLM) 执行长期任务的关键。尽管近期的研究将上下文窗口扩展至 1M 以上，但当序列长度超过位置编码（如 RoPE）的预训练范围时，模型性能会下降，即出现位置耗尽。这一根本性限制必须被克服，以实现真正的无限上下文。为此，我们提出了周期性 RoPE (P-RoPE)，一种旨在规避此耗尽的positional编码机制。它与滑动窗口注意力 (SWA) 协同工作，以捕获每个窗口内的局部依赖关系和相对位置。该局部层由无位置编码 (NoPE) 的全局注意力层补充，使模型能够在整个序列上实现无限制的相互作用，而无需位置约束。通过堆叠这两种类型的层，模型无需进行位置外推即可泛化更长的长度，理论上支持无限上下文窗口。实验结果表明，我们的模型 MiniWin 在长上下文效率和稳定性方面优于采用标准 GPT 架构的 MiniMInd。我们的工作为实现具有真正无限上下文理解能力的 LLMs 提供了可能的路径。代码已公开于 https://github.com/Cominder/miniwin。