SuRe：基于惊喜优先重放的持续LLM学习
机器学习
2025-12-01 v1 人工智能
计算与语言
摘要
持续学习——即在不遗忘先前获取知识的情况下适应一系列任务的能力——仍然是机器学习中的一项重大挑战，也是人工智能与人类智能之间的关键差距。虽然正则化和重放在视觉领域表现良好，但在大型语言模型（LLM）中，尤其是在包含大量任务的大规模场景下，它们落后于多任务学习。我们重新审视了重放方法，并认为两个失败模式导致了这一差距：选择（重放什么）和整合（如何巩固新知识）。为解决选择问题，我们提出惊喜优先重放（SuRe），一种简单且与架构无关的规则，用于对最令人惊讶（高负对数似然）的序列进行排序和存储。SuRe在大量任务（LNT）设置中实现了最先进的性能，并在标准CL和LNT基准测试中均取得了最佳整体平均值。为解决整合问题，我们增加了双学习者设计，通过指数移动平均（EMA）合并快速和慢速LoRA适配器，在快速适应的同时稳定长期知识。将SuRe与双学习者相结合可带来进一步提升，包括在LNT上相较于先前SOTA最高提升+5个准确率点。消融研究证实，我们提出的方法在降低重放频率和小缓冲区大小的情况下仍保持鲁棒性，展示了其有效性和样本效率。综合来看，我们的结果确立了重放作为持续LLM微调的强基线，并证明了基于惊喜的选择和慢权重巩固是缓解灾难性遗忘的互补组件。
引用
@article{arxiv.2511.22367,
title = {SuRe: Surprise-Driven Prioritised Replay for Continual LLM Learning},
author = {Hugo Hazard and Zafeirios Fountas and Martin A. Benfeghoul and Adnan Oomerjee and Jun Wang and Haitham Bou-Ammar},
journal= {arXiv preprint arXiv:2511.22367},
year = {2025}
}