利用野外无标签数据克服灾难性遗忘
计算机视觉与模式识别
2019-10-29 v3 机器学习
机器学习
摘要
深度神经网络的终身学习中众所周知会遭受灾难性遗忘：当学习新任务时，先前任务的性能急剧下降。为缓解此效应，我们提议利用野外易获取的大量无标签数据流。具体地，我们设计了一种新颖的类增量学习方案，包含 (a) 一种称为全局蒸馏的新蒸馏损失，(b) 一种避免过拟合到最近任务的策略，以及 (c) 一种基于置信度的采样方法以有效利用无标签外部数据。我们在包括 CIFAR 和 ImageNet 在内的多个数据集上的实验结果表明，所提方法优于先前方法，尤其在可获取无标签数据流时：与最先进（state-of-the-art）方法相比，我们的方法准确率最高提升 15.8%，遗忘减少 46.5%。代码见 https://github.com/kibok90/iccv2019-inc。
引用
@article{arxiv.1903.12648,
title = {Overcoming Catastrophic Forgetting with Unlabeled Data in the Wild},
author = {Kibok Lee and Kimin Lee and Jinwoo Shin and Honglak Lee},
journal= {arXiv preprint arXiv:1903.12648},
year = {2019}
}
备注
ICCV 2019; v3 updated Figure 1