ORDisCo：增量无标签数据在半监督持续学习中的高效有效利用
机器学习
2022-02-15 v2 人工智能
机器学习
摘要
持续学习通常假设 incoming 数据是完全标注的，这在真实应用中可能并不适用。在本工作中，我们考虑从部分标注数据增量学习的半监督持续学习（SSCL）。观察到现有的持续学习方法缺乏持续利用无标签数据的能力，我们提出了深度在线回放与判别器一致性（ORDisCo），以相互依赖地用条件生成对抗网络（GAN）学习一个分类器，该网络将持续将所学数据分布传递给分类器。具体而言，ORDisCo 以在线方式将条件生成器采样的数据回放给分类器，以时间和存储高效的方式利用无标签数据。进一步，为显式克服对无标签数据的灾难性遗忘，我们有选择地稳定判别器中那些对区分旧无标签数据及其由分类器预测的伪标签对重要的参数。我们在多种用于 SSCL 的半监督学习基准数据集上广泛评估了 ORDisCo，结果表明与强基线相比，ORDisCo 在 SVHN、CIFAR10 和 Tiny-ImageNet 上取得了显著的性能提升。
引用
@article{arxiv.2101.00407,
title = {ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning},
author = {Liyuan Wang and Kuo Yang and Chongxuan Li and Lanqing Hong and Zhenguo Li and Jun Zhu},
journal= {arXiv preprint arXiv:2101.00407},
year = {2022}
}