CoPE：用于长上下文大语言模型的可扩展裁剪旋转位置编码
计算与语言
2026-02-06 v1 人工智能
机器学习
摘要
旋转位置编码(RoPE)是大语言模型(LLMs)上下文扩展的关键组件。虽然已提出多种方法适应RoPE以处理更长的上下文，但其指导原则大体可归纳为两类：(1) 超出分布(OOD)缓解，通过缩放RoPE频率以适应未见位置；(2) 语义建模，假设使用RoPE计算的注意力得分应始终优先考虑语义相似的标记。在本工作中，我们通过一种极简干预统一了这两个看似独立的目标，即CoPE：对RoPE的低频分量进行软裁剪。CoPE不仅消除ODD异常值，还精炼语义信号，同时防止硬裁剪引起的谱泄漏。广泛实验表明，仅通过应用软裁剪策略即可为RoPE带来显著的性能提升，提升幅度可达256k上下文长度，验证了我们的理论分析，确立了CoPE为长度泛化的新型最先进技术。我们的代码、数据和模型已在 https://github.com/hrlics/CoPE 上提供。
引用
@article{arxiv.2602.05258,
title = {CoPE: Clipped RoPE as A Scalable Free Lunch for Long Context LLMs},
author = {Haoran Li and Sucheng Ren and Alan Yuille and Feng Wang},
journal= {arXiv preprint arXiv:2602.05258},
year = {2026}
}