基于CLIP的自适应加权参数融合用于类别增量学习
计算机视觉与模式识别
2025-03-31 v2
摘要
类别增量学习 (CIL) 使模型能够逐步吸收新类别的知识，并构建覆盖所有已 encountered 类别的通用分类器。当模型针对新类别进行优化时，先前类别的知识不可避免地会被抹除，导致灾难性遗忘。解决这一挑战需要在保留旧知识与容纳新信息之间进行权衡。然而，这种平衡过程往往会牺牲部分信息，导致模型在类别判别能力上出现部分损失。为此，我们设计了一种基于对比语言-图像预训练 (CLIP) 的自适应加权参数融合方法，该方法既考虑了不同任务数据分布的可变性，又尽可能保留参数矩阵中所有有效信息。此外，我们引入了一个平衡因子，用于平衡数据分布对齐与相邻任务可区分性。在多个传统基准测试上进行的实验结果表明，所提方法具有优越性。
引用
@article{arxiv.2503.19503,
title = {Adaptive Weighted Parameter Fusion with CLIP for Class-Incremental Learning},
author = {Juncen Guo and Xiaoguang Zhu and Liangyu Teng and Hao Yang and Jing Liu and Yang Liu and Liang Song},
journal= {arXiv preprint arXiv:2503.19503},
year = {2025}
}
备注
Accepted by ICME2025