面向半监督少样本类增量学习的不确定性感知蒸馏
计算机视觉与模式识别
2023-01-25 v1
摘要
给定一个在大规模基数据集上充分训练的模型，少样本类增量学习（FSCIL）旨在从少量标注样本中增量学习新类，避免过拟合，且不灾难性地遗忘所有先前遇到的类。目前，利用免费可用的无标注数据来弥补有限标注数据的半监督学习技术，可在众多视觉任务中提升性能，启发式地可应用于解决 FSCIL 中的问题，即半监督 FSCIL（Semi-FSCIL）。迄今为止，极少有工作关注 Semi-FSCIL 任务，半监督学习对 FSCIL 任务的适应性问题尚未解决。本文聚焦该适应性问题，提出了一个简单而高效的 Semi-FSCIL 框架，称为不确定性感知蒸馏与类均衡（UaD-CE），包含 UaD 和 CE 两个模块。具体而言，当将无标注数据引入每个增量阶段时，我们引入 CE 模块，采用类平衡自训练以避免易分类类在伪标签生成上的逐渐主导。为从参考模型中蒸馏可靠知识，我们进一步实现 UaD 模块，将不确定性引导的知识精炼与自适应蒸馏相结合。在三个基准数据集上的综合实验表明，我们的方法能提升半监督学习技术在 FSCIL 任务中利用无标注数据的适应性。
引用
@article{arxiv.2301.09964,
title = {Uncertainty-Aware Distillation for Semi-Supervised Few-Shot Class-Incremental Learning},
author = {Yawen Cui and Wanxia Deng and Haoyu Chen and Li Liu},
journal= {arXiv preprint arXiv:2301.09964},
year = {2023}
}
备注
Submitted to IEEE Transactions on Neural Networks and Learning Systems