梯度下降 GAN 优化具有局部稳定性
机器学习
2018-01-16 v3 人工智能
最优化与控制
机器学习
摘要
尽管生成对抗网络（GAN）日益受到关注，但 GAN 中的优化仍是一个鲜为人知的话题。在本文中，我们分析了 GAN 优化的“梯度下降”形式，即同时在生成器和判别器参数上采取小梯度步长的自然设定。我们表明，即使 GAN 优化并不对应于凸-凹博弈（即使对于简单的参数化也是如此），在适当条件下，该优化过程的平衡点对于传统的 GAN 公式仍然是\emph{局部渐近稳定}的。另一方面，我们表明最近提出的 Wasserstein GAN 在平衡点附近可能存在不收敛的极限环。受此稳定性分析的启发，我们为梯度下降 GAN 更新提出了一个额外的正则化项，它\emph{能够}保证 WGAN 和传统 GAN 的局部稳定性，并在加速收敛和解决模式崩溃方面显示出实际前景。
关键词
引用
@article{arxiv.1706.04156,
title = {Gradient descent GAN optimization is locally stable},
author = {Vaishnavh Nagarajan and J. Zico Kolter},
journal= {arXiv preprint arXiv:1706.04156},
year = {2018}
}