关于GAN动态中一阶近似的局限性
机器学习
2018-06-05 v2 数据结构与算法
摘要
尽管生成对抗网络（GANs）在多个视觉任务上展示了有前景的性能，但它们的学习动态在理论和实践上尚未被很好地理解。为了解决这个问题，我们在一个简单但丰富的参数化模型中研究GAN动态，该模型表现出几种常见的有问题收敛行为，如梯度消失、模式崩溃以及发散或振荡行为。尽管我们的模型是非凸的，我们能够对其收敛行为进行严格的理论分析。我们的分析揭示了一个有趣的二分法：具有最优判别器的GAN可证明收敛，而判别器步骤的一阶近似导致不稳定的GAN动态和模式崩溃。我们的结果表明，使用一阶判别器步骤（大多数现有GAN设置中的事实标准）可能是使GAN训练在实践中具有挑战性的因素之一。
引用
@article{arxiv.1706.09884,
title = {On the Limitations of First-Order Approximation in GAN Dynamics},
author = {Jerry Li and Aleksander Madry and John Peebles and Ludwig Schmidt},
journal= {arXiv preprint arXiv:1706.09884},
year = {2018}
}
备注
18 pages, 4 figures, accepted to ICML 2018