基于无数据生成回放的双教师类增量学习
计算机视觉与模式识别
2021-06-21 v1 机器学习
神经与进化计算
摘要
本文提出两种用于类增量学习（CIL）的新颖知识迁移技术。首先，我们提出无数据生成回放（DF-GR），通过使用生成模型的合成样本缓解 CIL 中的灾难性遗忘。在常规生成回放中，生成模型针对旧数据预训练并在额外内存中共享以供后续增量学习。在我们提出的 DF-GR 中，我们基于过去预训练的分类模型从头训练生成模型而不使用任何训练数据，从而削减共享预训练生成模型的开销。其次，我们引入双教师信息蒸馏（DT-ID），用于从两个教师到一个学生的知识蒸馏。在 CIL 中，我们利用 DT-ID 基于旧类的预训练模型与另一在新数据上（预）训练用于新类的模型来增量学习新类。我们在最先进 CIL 方法之一上实现所提方案，并展示了在 CIFAR-100 与 ImageNet 数据集上的性能提升。
引用
@article{arxiv.2106.09835,
title = {Dual-Teacher Class-Incremental Learning With Data-Free Generative Replay},
author = {Yoojin Choi and Mostafa El-Khamy and Jungwon Lee},
journal= {arXiv preprint arXiv:2106.09835},
year = {2021}
}
备注
CVPR 2021 Workshop on Continual Learning in Computer Vision (CLVision)