重访深度半监督学习：一种经验分布对齐框架及其泛化界
计算机视觉与模式识别
2022-03-15 v1
摘要
在这项工作中，我们从一个新的视角重新审视半监督学习（SSL）问题，即显式地减小有标签样本与无标签样本之间的经验分布失配。受益于这一新视角，我们首先提出一种新的深度半监督学习框架，称为基于经验分布对齐的半监督学习（SLEDA），其中来自域适应领域的现有技术可以通过减小有标签数据与无标签数据之间的经验分布距离来轻松用于解决半监督学习问题。基于该框架，我们还为研究界推导了一个新的理论泛化界，以更好地理解半监督学习问题，其中我们表明半监督学习的泛化误差可以通过最小化有标签数据上的训练误差以及有标签与无标签数据之间的经验分布距离来有效界定。基于我们的新框架和理论界，我们开发了一种简单而有效的深度半监督学习方法，称为增强分布对齐网络（ADA-Net），同时采用了域适应领域中成熟的对抗训练策略以及一种用于数据增强的简单样本插值策略。此外，我们将ADA-Net中的两种策略融入两种现有的SSL方法中，以进一步提升它们的泛化能力，这表明我们的新框架为解决SSL问题提供了一种互补方案。我们在半监督图像识别任务的两个基准数据集SVHN和CIFAR-10，以及半监督点云识别任务的另外两个基准数据集ModelNet40和ShapeNet55上的综合实验结果，证明了我们所提出的SSL框架的有效性。
引用
@article{arxiv.2203.06639,
title = {Revisiting Deep Semi-supervised Learning: An Empirical Distribution Alignment Framework and Its Generalization Bound},
author = {Feiyu Wang and Qin Wang and Wen Li and Dong Xu and Luc Van Gool},
journal= {arXiv preprint arXiv:2203.06639},
year = {2022}
}
备注
Submitted to T-PAMI on August 2021