基于幻象的学习：用于少样本类增量学习的语义感知虚拟对比约束
计算机视觉与模式识别
2023-04-04 v1
摘要
少样本类增量学习（FSCIL）旨在从有限样本持续学习分类新类而不遗忘旧类。解决FSCIL的主流框架是先在基础会话采用交叉熵（CE）损失训练，然后冻结特征提取器以适应新类。然而，本工作发现CE损失并不理想，因其表征的类间分离性差，进一步削弱了向新类的泛化。一种缓解该问题的诱人方法是在基础会话施加额外的朴素监督对比学习（SCL）。遗憾的是，我们发现尽管SCL能在不同基类间创造稍好的表征分离，仍难以分离基类与新类。受上述观察启发，我们提出语义感知虚拟对比模型（SAVC），一种通过将虚拟类引入SCL来促进新类与基类分离的新方法。这些虚拟类由预定义变换生成，既作为表征空间中未见类的占位符，又提供多样语义信息。通过在虚拟类营造的幻象空间中学习识别与对比，我们的SAVC显著提升了基类分离与新类泛化，在三个广泛使用的FSCIL基准数据集上取得新的最先进性能。代码见：https://github.com/zysong0113/SAVC。
引用
@article{arxiv.2304.00426,
title = {Learning with Fantasy: Semantic-Aware Virtual Contrastive Constraint for Few-Shot Class-Incremental Learning},
author = {Zeyin Song and Yifan Zhao and Yujun Shi and Peixi Peng and Li Yuan and Yonghong Tian},
journal= {arXiv preprint arXiv:2304.00426},
year = {2023}
}
备注
Accepted by CVPR 2023