通过相位移校准扩展大型语言模型上下文窗口
计算与语言
2025-05-20 v1 人工智能
摘要
旋转位置嵌入（Rotary Position Embedding, RoPE）是一种高效的位置编码方法，广泛应用于众多大型语言模型（LLMs）。最近，大量方法被提出进一步基于RoPE扩大上下文窗口。这些方法的核心概念是预定义或搜索一组因子来重新缩放RoPE的基频。然而，现有方法面临一个巨大挑战：由于指数级的搜索空间，难以预定义最优因子。鉴于此，我们引入了PSC（Phase Shift Calibration，相位移校准），一个用于校准现有方法预定义基频的小型模块。通过采用PSC，我们展示许多现有方法可以进一步提升，如PI、YaRN和LongRoPE。我们在多个模型和任务上进行了广泛实验。结果表明：(1)当启用PSC时，随着上下文窗口大小从16k、32k增加到64k，困惑度的比较性下降幅度随之增大。(2)我们的方法具有广泛适用性，在各种模型和任务中表现出稳健性。代码可在 https://github.com/WNQzhu/PSC 查看。
引用
@article{arxiv.2505.12423,
title = {PSC: Extending Context Window of Large Language Models via Phase Shift Calibration},
author = {Wenqiao Zhu and Chao Xu and Lulu Wang and Jun Wu},
journal= {arXiv preprint arXiv:2505.12423},
year = {2025}
}