KeepLoRA：基于残差梯度适应的持续学习
计算机视觉与模式识别
2026-01-28 v1 机器学习
摘要
针对预训练视觉语言模型的持续学习，需要在保持预训练知识、保存一系列学习任务的知识以及维持获取新知识的塑性之间进行平衡。本文提出一种简单而有效的方法，称为 KeepLoRA，以有效平衡这些目标。我们首先分析模型参数空间中的知识保留机制，发现通用知识主要编码在主浸润空间，而任务特定知识编码在残差浸润空间中。基于此发现，KeepLoRA 通过限制残差浸润空间中的 LoRA 参数更新来防止干扰先前学习的能力。具体而言，我们通过将新任务的梯度投射到既与预训练模型主浸润空间正交又与先前任务特征主导方向正交的子空间中来注入新任务知识。我们的理论与实证分析确认，KeepLoRA 平衡了三个目标并实现了最先进的性能。实现代码已公开于 https://github.com/MaolinLuo/KeepLoRA。
引用
@article{arxiv.2601.19659,
title = {KeepLoRA: Continual Learning with Residual Gradient Adaptation},
author = {Mao-Lin Luo and Zi-Hao Zhou and Yi-Lin Zhang and Yuanyu Wan and Tong Wei and Min-Ling Zhang},
journal= {arXiv preprint arXiv:2601.19659},
year = {2026}
}
备注
Accepted at ICLR 2026