基于插值的对比学习用于少标签半监督学习
计算机视觉与模式识别
2022-06-23 v2
摘要
半监督学习（SSL）早已被证明是一种利用有限标签构建强大模型的有效技术。在现有文献中，基于一致性正则化的方法迫使扰动样本与原始样本具有相似预测，因其良好的精度而备受关注。然而，我们观察到，当标签极度有限时（例如每类仅 2 或 3 个标签），此类方法的性能急剧下降。我们的实证研究发现，主要问题出在数据增强过程中语义信息的漂移。当提供足够监督时该问题可缓解。但当可用引导极少时，不正确的正则化会误导网络并损害算法性能。为应对该问题，我们（1）提出一种基于插值的方法以构造更可靠的样本正对；（2）设计一种新颖的对比损失，引导所学网络的嵌入在样本间线性变化，从而通过扩大决策边界间隔提升网络的判别能力。由于未引入破坏性正则化，我们所提算法的性能大幅提升。具体而言，在 CIFAR-10 数据集上每类仅有两个标签时，所提算法以 88.73% 的分类准确率超越次优算法（Comatch）5.3%。此外，我们通过将所提策略显著改进现有最优算法的性能，进一步证明了该方法的通用性。
引用
@article{arxiv.2202.11915,
title = {Interpolation-based Contrastive Learning for Few-Label Semi-Supervised Learning},
author = {Xihong Yang and Xiaochang Hu and Sihang Zhou and Xinwang Liu and En Zhu},
journal= {arXiv preprint arXiv:2202.11915},
year = {2022}
}