面向预训练模型类增量学习的可扩展子空间集成
计算机视觉与模式识别
2024-03-19 v1 机器学习
摘要
类增量学习 (CIL) 要求学习系统在不遗忘的前提下持续学习新类。尽管预训练模型 (PTM) 在 CIL 中表现优异，但一个关键问题依然存在：学习新类常导致旧类被覆盖。对网络过度修改会导致遗忘，而微小调整则对新类拟合不足。因此，亟需找到一种在不损害已有知识的情况下高效更新模型的方法。本文针对基于 PTM 的 CIL 提出可扩展子空间集成 (EASE)。为实现无冲突的模型更新，我们为每个新任务训练一个独立的轻量级 adapter 模块，以构建任务特定子空间。这些 adapter 跨越高维特征空间，实现跨多子空间的联合决策。随着数据演进，扩展的子空间使旧类分类器与新阶段空间不兼容。相应地，我们设计了语义引导的原型补全策略，在无需任何旧类实例的情况下合成旧类的新特征。在七个基准数据集上的大量实验验证了 EASE 的 SOTA 性能。代码见：https://github.com/sun-hailong/CVPR24-Ease
引用
@article{arxiv.2403.12030,
title = {Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning},
author = {Da-Wei Zhou and Hai-Long Sun and Han-Jia Ye and De-Chuan Zhan},
journal= {arXiv preprint arXiv:2403.12030},
year = {2024}
}
备注
Accepted to CVPR 2024. Code is available at: https://github.com/sun-hailong/CVPR24-Ease