FGGM：用于持续学习的 Fisher 引导梯度掩码
机器学习
2026-01-27 v1 计算与语言
摘要
灾难性遗忘损害了大型语言模型的持续学习能力。我们提出了 Fisher 引导梯度掩码（FGGM），这是一个通过使用对角 Fisher 信息策略性地选择参数进行更新来缓解此问题的框架。FGGM 动态生成具有自适应阈值的二值掩码，保留关键参数以在不需历史数据的情况下平衡稳定性与可塑性。与诸如 MIGU 等基于幅值的方法不同，我们的方法提供了具有数学原理的参数重要性估计。在 TRACE 基准上，与监督微调（SFT）相比，FGGM 在保留通用能力方面表现出 9.6% 的相对提升，在 TRACE 任务上比 MIGU 提升 4.4%。对代码生成任务的额外分析证实了 FGGM 的优越性能和减少的遗忘，确立了其作为有效解决方案的地位。
引用
@article{arxiv.2601.18261,
title = {FGGM: Fisher-Guided Gradient Masking for Continual Learning},
author = {Chao-Hong Tan and Qian Chen and Wen Wang and Yukun Ma and Chong Zhang and Chong Deng and Qinglin Zhang and Xiangang Li and Jieping Ye},
journal= {arXiv preprint arXiv:2601.18261},
year = {2026}
}
备注
Accepted by ICASSP 2026