GeRe：基于通用样本回放实现大语言模型持续学习抗遗忘
计算与语言
2025-08-07 v1 人工智能
机器学习
摘要
大型语言模型（LLM）的持续学习能力是推进人工通用智能的关键因素。然而，跨多个领域持续微调LLM常常因灾难性遗忘而受限，具体表现为：1)显著遗忘其通用能力，以及2)在先前学习的任务上出现显著性能下降。为同时以简单且稳定的方式解决上述两个问题，我们提出了通用样本回放（General Sample Replay，GeRe）框架，使用常规预训练文本实现高效抗遗忘。除了在GeRe框架下重新审视最常见的基于回放的实践方法外，我们进一步利用神经状态引入一种基于阈值间隔（threshold-based margin，TM）损失的增强激活状态约束优化方法，以保持回放学习期间的激活状态一致性。我们首次验证了一个小且固定的预收集通用回放样本集就足以解决上述两个问题——既保留通用能力，又在顺序任务上实现整体性能提升。事实上，前者可天然促进后者。通过受控实验，我们系统比较了TM与不同回放策略在GeRe框架下的表现，包括普通标签拟合、基于KL散度的逻辑模仿以及基于L1/L2损失的特征模仿。结果表明，TM在性能和鲁棒性方面均一致性地取得改进。我们的工作为未来LLM的高效回放指明了道路。我们的代码和数据已公开于https://github.com/Qznan/GeRe。
引用
@article{arxiv.2508.04676,
title = {GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay},
author = {Yunan Zhang and Shuoran Jiang and Mengchen Zhao and Yuefeng Li and Yang Fan and Xiangping Wu and Qingcai Chen},
journal= {arXiv preprint arXiv:2508.04676},
year = {2025}
}