视觉语言模型持续学习中的层次化双子空间解耦
计算机视觉与模式识别
2026-05-11 v1
摘要
类增量学习旨在持续获取新知识的同时保留先前学到的信息，从而缓解灾难性遗忘。现有方法主要限制参数更新，但往往忽略了参数在高维空间中的结构特性。从子空间的角度来看，不同任务引起的更新倾向于位于多个重叠的低秩子空间中，导致跨任务子空间干扰和严重的遗忘。为了解决这个问题，我们提出了HDSD，一种用于视觉语言模型持续学习的层次化双子空间解耦框架。具体来说，我们引入了一个轻量级的特征调制模块（FMM），该模块将参数空间显式分解为通用子空间和任务特定子空间。在此设计基础上，我们开发了两个互补的组件。首先，通用融合模块（GFM）评估跨任务的相对参数变化，并使用自适应阈值来捕获稳定且可迁移的知识。其次，层次化学习模块（HLM）通过奇异值分解（SVD）执行结构化参数分解，并使用缩放机制将更新约束在不同的子空间尺度内。这些设计共同减少了子空间干扰和参数漂移。在常规基准上的大量实验表明，HDSD取得了最先进的结果。
引用
@article{arxiv.2605.07512,
title = {Hierarchical Dual-Subspace Decoupling for Continual Learning in Vision-Language Models},
author = {Mengxin Qin and Xiang Zhang and Kun Wei and Xu Yang and Cheng Deng},
journal= {arXiv preprint arXiv:2605.07512},
year = {2026}
}