动态适配器融合：用于预训练模型基于类的增量学习构建全局适配器
计算机视觉与模式识别
2026-01-30 v1
摘要
基于类的增量学习（CIL）要求模型在不忘记先前学习内容的情况下持续获取新类别。主导范式涉及冻结预训练模型并训练轻量级、任务特定的适配器。然而，维持任务特定参数会阻碍知识传递并导致高昂的检索成本，而朴素的参数融合常常导致破坏性干扰和灾难性遗忘。为此，我们提出动态适配器融合（DAF），以构建单个稳健的全局适配器。我们在PAC-Bayes定理基础上，推导一种融合机制，显式集成三个组成部分：优化后的任务特定适配器参数、先前的全局适配器参数以及初始化参数。我们利用损失函数的泰勒展开推导最优融合系数，动态实现稳定性与塑性之间的最佳平衡。此外，我们提出一种稳健初始化策略，以有效捕获全局知识模式。实验在多个CIL基准上表明，DAF实现了最先进（SOTA）性能。
引用
@article{arxiv.2601.21341,
title = {Dynamical Adapter Fusion: Constructing A Global Adapter for Pre-Trained Model-based Class-Incremental Learning},
author = {Ruiqi Liu and Boyu Diao and Zijia An and Zhulin An and Fei Wang and Yongjun Xu},
journal= {arXiv preprint arXiv:2601.21341},
year = {2026}
}