RankingMatch：基于一致性正则化与排序损失的半监督学习探究
计算机视觉与模式识别
2021-10-12 v1
摘要
半监督学习（SSL）在标注数据有限时利用未标注数据方面发挥了重要作用。最成功的 SSL 方法之一基于一致性正则化，其鼓励模型对扰动输入产生不变的输出。然而，对于具有相同标签的输入却较少受到关注。受具有相同标签的输入应具有相似模型输出这一观察的启发，我们提出了一种新方法 RankingMatch，它不仅考虑扰动输入，还考虑具有相同标签的输入之间的相似性。我们特别引入了一个名为 BatchMean 三元组损失的新目标函数，其在考虑所有输入样本的同时具有计算效率的优势。我们的 RankingMatch 在许多标准 SSL 基准上取得了最先进的性能，涵盖多种标注数据量，包括在 250 个标签的 CIFAR-10 上达到 95.13% 准确率、在 10000 个标签的 CIFAR-100 上达到 77.65% 准确率、在 250 个标签的 SVHN 上达到 97.76% 准确率，以及在 1000 个标签的 SVHN 上达到 97.77% 准确率。我们还进行了消融研究，以证明所提出的 BatchMean 三元组损失相对于现有版本三元组损失的有效性。
引用
@article{arxiv.2110.04430,
title = {RankingMatch: Delving into Semi-Supervised Learning with Consistency Regularization and Ranking Loss},
author = {Trung Q. Tran and Mingu Kang and Daeyoung Kim},
journal= {arXiv preprint arXiv:2110.04430},
year = {2021}
}