基于 GAN 的半监督学习是如何工作的？
机器学习
2020-07-14 v1 机器学习
摘要
生成对抗网络（GANs）已被广泛使用并在半监督学习中取得了有竞争力的结果。本文从理论上分析了基于 GAN 的半监督学习（GAN-SSL）的工作原理。我们首先证明，给定固定的生成器，优化 GAN-SSL 的判别器等价于优化监督学习的判别器。因此，GAN-SSL 中的最优判别器有望在标注数据上达到完美。进而，若完美的判别器能进一步使优化目标达到其理论最大值，则最优生成器将匹配真实数据分布。由于实践中不可能达到理论最大值，无法期望获得用于生成数据的完美生成器，这显然不同于 GANs 的目标。此外，若标注数据能够遍历数据流形的所有连通子域（在半监督分类中是合理的），我们额外期望 GAN-SSL 中的最优判别器在无标注数据上也是完美的。总之，GAN-SSL 中的极小极大优化将通过意外地学习一个不完美的生成器，在理论上输出一个在标注与无标注数据上均完美的判别器，即 GAN-SSL 能够有效利用无标注信息提升判别器的泛化能力。
引用
@article{arxiv.2007.05692,
title = {How Does GAN-based Semi-supervised Learning Work?},
author = {Xuejiao Liu and Xueshuang Xiang},
journal= {arXiv preprint arXiv:2007.05692},
year = {2020}
}