面向预训练模型的语义引导动态稀疏化：基于类增量学习
计算机视觉与模式识别
2026-02-17 v2
摘要
类增量学习（CIL）要求模型在不忘记旧知识的同时持续学习新类别。常见且高效的做法是冻结预训练模型并采用轻量级适配器，其参数常被迫正交化以防止跨任务干扰。然而，我们认为这种参数约束方法对灵活性不利。为此，我们提出语义引导动态稀疏化（SGDS）——一种新颖方法，通过主导其子空间的方向和秩来主动引导激活空间。具体而言，SGDS 通过针对性稀疏化促进知识迁移，鼓励相似类别共享紧凑的激活子空间，同时通过为不相似的类别分配非重叠的激活子空间来防止干扰。通过在激活空间中塑造类别特定的稀疏子空间，SGDS 在不对参数空间施加刚性约束的情况下有效缓解了干扰。在 various benchmark 数据集上的大量实验表明，SGDS 达到了最先进的性能。
引用
@article{arxiv.2601.21345,
title = {Semantic-Guided Dynamic Sparsification for Pre-Trained Model-based Class-Incremental Learning},
author = {Ruiqi Liu and Boyu Diao and Zijia An and Runjie Shao and Zhulin An and Fei Wang and Yongjun Xu},
journal= {arXiv preprint arXiv:2601.21345},
year = {2026}
}