具有对抗特征的有监督学习是否可证明优于单纯监督学习？
机器学习
2020-04-21 v2 计算机视觉与模式识别
机器学习
摘要
生成对抗网络（GAN）在多种复杂任务上展现出有前景的结果。近期实验表明，对抗训练为生成器提供了有用的梯度，有助于获得更好的性能。在本文中，我们旨在从理论上分析具有对抗特征的有监督学习是否优于单纯监督学习。首先，我们表明无对抗特征的有监督学习在近似最优区域会遭受梯度消失问题。其次，我们分析了结合监督信号的对抗学习如何缓解这一梯度消失问题。最后，我们证明了主要结果：在若干温和假设下，具有对抗特征的有监督学习可以优于单纯监督学习。我们从两个方面支持主要结果：（i）期望经验风险与（ii）收敛速率。
引用
@article{arxiv.1910.13993,
title = {Is Supervised Learning With Adversarial Features Provably Better Than Sole Supervision?},
author = {Litu Rout},
journal= {arXiv preprint arXiv:1910.13993},
year = {2020}
}