协作参数学习：通过参数级梯度分析缓解遗忘
机器学习
2026-05-14 v2
摘要
在知识注入过程中，灾难性遗忘会损害大型语言模型获取新知识的能力，而不会覆盖先前掌握的知识。最近的研究从梯度相似性视角分析遗忘，并通过向量投影来缓解遗忘。然而，这些方法主要在聚合方向层面表征梯度相似性，导致参数级贡献在遗忘方面未得到充分探索。本文将梯度相似性分解为参数级贡献，并识别了两种类型的参数：一种是冲突参数，其更新贡献于遗忘，通常占参数的50%至75%；另一种是协作参数，其更新缓解遗忘，占25%至50%。基于此分析，我们提出了协作参数学习(CPL)，一种参数级训练规则，该规则冻结冲突参数仅更新协作参数。与七个基线方法的实验比较显示，CPL学习的问题数量增加20.2%至48.2%，而遗忘几乎为零；同时将峰值VRAM约减少每个十亿模型参数的3GB，并将计算时间缩短16.5%。在参数消耗、超出集泛化、跨提示泛化、多模态任务、开放式问题解答以及多语言设置等广泛评估中，CPL在各种场景下有效缓解了遗忘。
引用
@article{arxiv.2601.21577,
title = {Collaborative Parameter Learning: Mitigating Forgetting via Parameter-Level Gradient Analysis},
author = {Mutian Yang and Zisen Zhan and Yutong Chen and Haolin Li and Kaiwen Wang and Kaili Zheng and Yuguang Wang and Qi Wang and Jiandong Gao and Ji Wu},
journal= {arXiv preprint arXiv:2601.21577},
year = {2026}
}