为伪标签辩护：一种用于半监督学习的不确定性感知伪标签选择框架
机器学习
2021-04-20 v3 计算机视觉与模式识别
摘要
近期半监督学习（SSL）的研究主要由一致性正则化方法主导，这类方法取得了强劲性能。然而，它们严重依赖特定领域的数据增强，而并非所有数据模态都易于生成此类增强。伪标签（PL）是一种不受此限制的通用 SSL 方法，但在其原始形式下表现相对较差。我们认为 PL 表现不佳是由于 poorly calibrated 模型给出错误的高置信度预测；这些预测生成了许多不正确的伪标签，导致带噪训练。我们提出了一种不确定性感知伪标签选择（UPS）框架，通过大幅减少训练过程中遇到的噪声量来提高伪标签准确率。此外，UPS 推广了伪标签过程，允许创建负伪标签；这些负伪标签可用于多标签分类以及负学习以改进单标签分类。我们在 CIFAR-10 和 CIFAR-100 数据集上与近期 SSL 方法相比取得了强劲性能。同时，我们在视频数据集 UCF-101 和多标签数据集 Pascal VOC 上展示了方法的通用性。
引用
@article{arxiv.2101.06329,
title = {In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning},
author = {Mamshad Nayeem Rizve and Kevin Duarte and Yogesh S Rawat and Mubarak Shah},
journal= {arXiv preprint arXiv:2101.06329},
year = {2021}
}
备注
ICLR 2021