仅取所需：持续学习中的秩最小化作为隐式遗忘正则器
计算机视觉与模式识别
2026-05-28 v8
摘要
持续学习（CL）的核心矛盾在于塑性（获取新知识）与稳定性（保留旧知识）之间的权衡。我们研究如何通过容量控制来持续更新预训练的主干网络，以吸收新知识同时保留既有能力——即通过调节每个参数更新的有效秩来实现，这是可在LoRA更新中直接控制的每步量。对LoRA秩与位置在不同模块和任务之间的控制探针揭示了一致的权衡，在不同位置和任务间存在一定秩的最佳点，无统一的固定秩；形式界限表明遗忘随秩增长。基于这些发现，我们提出Continual Dynamic Rank-Selective LoRA（CoDyRA），该方法联合训练每个LoRA更新，采用稀疏性正则化对每个组成部分的重要性权重进行秩最小化。监督目标驱动塑性；秩最小化正则化遗忘。我们表明，秩最小化在CL语境中作为隐式遗忘正则器发挥作用，通过控制遗忘来抑制对当前模型状态的改变，同时保护通用能力和先前任务知识。CoDyRA在MTIL、X-TAIL和TRACE（CLIP、LLaMA、Gemma）上均优于先前CL方法，在新知识学习和遗忘方面实现强大的塑性-稳定性平衡。代码已公开于https://github.com/jeff024/codyra。
引用
@article{arxiv.2412.01004,
title = {Take Only What You Need: Rank Minimization as an Implicit Forgetting Regularizer in Continual Learning},
author = {Haodong Lu and Chongyang Zhao and Jason Xue and Lina Yao and Kristen Moore and Dong Gong},
journal= {arXiv preprint arXiv:2412.01004},
year = {2026}
}
备注
Preprint