超越保持：LLM 持续学习中结构安全性与可塑性的协同编排
机器学习
2026-01-27 v1 人工智能
摘要
大型语言模型（LLM）的持续学习面临着平衡稳定性（保留旧知识）和可塑性（学习新任务）的关键挑战。虽然经验回放（ER）是对抗灾难性遗忘的标准对策，但其在多样能力上的影响仍未被充分探索。在这项工作中，我们揭示了 ER 行为中的关键二分性：虽然它在稳健的非结构化任务上引发正向后向迁移（例如，通过重复排练提升以往 NLP 分类任务的性能），但在代码生成等脆弱的结构化领域却导致严重的负向迁移（例如，编码准确率的显著相对下降）。这表明 ER 是以牺牲结构完整性来换取广泛的巩固。为了解决这一困境，我们提出了 \textbf{正交子空间唤醒（OSW）}。OSW 通过短暂的“唤醒”阶段识别以往任务的关键参数子空间，并对新任务强制执行正交更新，为已建立的知识结构提供了数学上严谨的“安全保证”。在多样的四任务序列上的实证结果表明，OSW 在 Replay 失败的地方成功保留了脆弱的编码能力，同时保持了对新任务的高可塑性。我们的发现强调了在 LLM 持续学习中，除了平均保持率之外，评估结构安全的必要性。
引用
@article{arxiv.2601.18255,
title = {Beyond Retention: Orchestrating Structural Safety and Plasticity in Continual Learning for LLMs},
author = {Fei Meng},
journal= {arXiv preprint arXiv:2601.18255},
year = {2026}
}