基于对比适配器混合的广义少样本持续学习
计算机视觉与模式识别
2023-02-14 v1
摘要
少样本持续学习（FSCL）的目标是在仅有少量标注样本的情况下增量学习新任务并同时保留先前能力，而当前FSCL方法均面向类增量目的。此外，对FSCL方案的评估仅针对所有已遇任务的累积性能，尚无工作探究域泛化能力。域泛化是一项具有挑战性但实用的任务，旨在泛化到训练域之外。本文中，我们建立了一个广义FSCL（GFSCL）协议，涵盖类增量与域增量情形以及域泛化评估。首先，我们新整理了两种基准数据集与协议，并为这一未被探索的配置提供了详细基线。我们发现常见持续学习方法在未见域上泛化能力较差，且不能更好地应对跨增量任务中的灾难性遗忘问题。为此，我们进一步提出了一种基于Vision Transformer（ViT）的无回放框架，称为对比适配器混合（CMoA）。由于类增量与域增量的优化目标不同，CMoA包含两部分：（1）针对类增量问题，将适配器混合（MoA）模块嵌入ViT，进而设计余弦相似度正则化与动态加权，使各适配器学习特定知识并聚焦于特定类别；（2）针对域相关问题与域不变表示学习，我们通过原型校准对比学习缓解类内差异。代码与协议见 https://github.com/yawencui/CMoA。
引用
@article{arxiv.2302.05936,
title = {Generalized Few-Shot Continual Learning with Contrastive Mixture of Adapters},
author = {Yawen Cui and Zitong Yu and Rizhao Cai and Xun Wang and Alex C. Kot and Li Liu},
journal= {arXiv preprint arXiv:2302.05936},
year = {2023}
}
备注
Submitted to International Journal of Computer Vision (IJCV)