面向类递增学习的任务特定适配器动态集成
计算机视觉与模式识别
2025-04-29 v2 人工智能
机器学习
摘要
非样本类递增学习（NECIL）使模型能够不从头重新训练即可持续获取新类别，同时无需存储旧任务样本，从而解决隐私和存储问题。然而，缺乏早期任务的数据会加剧 NECIL 中灾难性遗忘的挑战。本文提出一种新型框架，称为动态适配器集成（DIA）， comprising 两个关键组件：任务特定适配器集成（TSAI）和补丁级模型对齐。TSAI 通过补丁级适配器集成策略提升构图性，提供更灵活的构图解决方案，同时保持低计算成本。补丁级模型对齐通过两种专用机制维持特征一致性和准确决策边界：补丁级蒸馏损失（PDL）和补丁级特征重构方法（PFR）。具体而言，PDL 通过实现基于补丁标记对新类别学习贡献的蒸馏损失，保持连续模型之间的特征层次一致性。PFR 通过重建来自前期任务的旧类别特征，以适应新任务知识，实现准确的分类器对齐。广泛实验验证了 DIA 的有效性，在 NECIL 设置下显著提升了基准数据集的性能，在计算复杂度与精度之间实现了最佳平衡。
引用
@article{arxiv.2409.14983,
title = {Dynamic Integration of Task-Specific Adapters for Class Incremental Learning},
author = {Jiashuo Li and Shaokun Wang and Bo Qian and Yuhang He and Xing Wei and Qiang Wang and Yihong Gong},
journal= {arXiv preprint arXiv:2409.14983},
year = {2025}
}