DCIS：基于Divide-and-Conquer比例因子搜索的LLM高效长度外推
计算与语言
2025-11-25 v2
摘要
基于Transformer架构的大型语言模型（LLM）通常受限于上下文长度，主要原因在于高昂的训练成本。最近的进展通过调整RoPE的比例因子并进行微调来扩展上下文窗口，但次优的比例因子初始化会导致增加的微调成本和在目标长度上的性能下降。为此，我们提出一种基于RoPE的新颖微调框架，区别于常规比例因子搜索。具体而言，我们提出Divide-and-Conquer Incremental Search（DCIS）算法，战略性地确定更佳的比例因子。进一步的微调使用所识别的比例因子有效地扩展了LLM的上下文窗口。实证结果表明，我们的方法不仅缓解了在延长目标长度上的性能衰减，还使模型能够在短上下文上微调并泛化到长上下文，从而降低了微调成本。通过DCIS获得的比例因子即使在不进行微调的情况下也能有效工作。进一步的搜索空间分析揭示，DCIS在搜索效率上相当于其他方法的两倍。我们还检查了DCIS中使用的非严格递增比例因子对LLM通用能力在各种上下文长度下影响。
引用
@article{arxiv.2412.18811,
title = {DCIS: Efficient Length Extrapolation of LLMs via Divide-and-Conquer Scaling Factor Search},
author = {Lei Yang and Shaoyang Xu and Jianxiang Peng and Shaolin Zhu and Deyi Xiong},
journal= {arXiv preprint arXiv:2412.18811},
year = {2025}
}
备注
EMNLP 2025 Main