用于半监督迁移学习的自适应一致性正则化
计算机视觉与模式识别
2021-08-10 v2 机器学习
摘要
尽管近期关于半监督学习的研究在利用有标签与无标签数据方面取得了显著进展，但大多数工作假定模型以随机初始化为基础设定。本文中，我们将半监督学习与迁移学习联合考虑，从而得到一个更实用且更具竞争力的范式，能够同时利用源域上强大的预训练模型以及目标域中的有标签/无标签数据。为了更好地挖掘预训练权重与无标签目标样本的价值，我们引入自适应一致性正则化，其由两个互补组件构成：源模型与目标模型间样本上的自适应知识一致性（AKC），以及目标模型上有标签与无标签样本间的自适应表示一致性（ARC）。参与一致性正则化的样本依据其对目标任务的潜在贡献被自适应地选择。我们通过微调 ImageNet 预训练的 ResNet-50 模型，在包括 CIFAR-10、CUB-200 和 MURA 在内的流行基准上进行了大量实验。结果表明，我们提出的自适应一致性正则化优于 Pseudo Label、Mean Teacher 和 FixMatch 等最先进的半监督学习技术。此外，我们的算法与现有方法正交，因而能够在 MixMatch 和 FixMatch 之上获得额外提升。我们的代码见 https://github.com/SHI-Labs/Semi-Supervised-Transfer-Learning。
引用
@article{arxiv.2103.02193,
title = {Adaptive Consistency Regularization for Semi-Supervised Transfer Learning},
author = {Abulikemu Abuduweili and Xingjian Li and Humphrey Shi and Cheng-Zhong Xu and Dejing Dou},
journal= {arXiv preprint arXiv:2103.02193},
year = {2021}
}
备注
CVPR 2021