通过原始-对偶次梯度方法训练生成对抗网络：GAN 的拉格朗日视角
机器学习
2018-02-07 v1 机器学习
摘要
我们将生成对抗网络 (GANs) 的极小极大博弈关联到为一个凸优化问题寻找拉格朗日函数的鞍点，其中判别器输出与生成器输出的分布分别扮演原始变量与对偶变量的角色。该表述揭示了标准 GAN 训练过程与凸优化的原始-对偶次梯度方法之间的联系。这一内在联系不仅为在函数空间中训练 GAN 提供了理论收敛证明，还启发了一种新颖的训练目标函数。修正后的目标函数迫使生成器输出的分布依据原始-对偶次梯度方法沿方向更新。一个玩具例子表明，所提方法能够解决模式崩溃，而在此情形下标准 GAN 或 Wasserstein GAN 均无法避免该问题。在高斯混合合成数据与真实世界图像数据集上的实验展示了所提方法在生成多样样本上的性能。
引用
@article{arxiv.1802.01765,
title = {Training Generative Adversarial Networks via Primal-Dual Subgradient Methods: A Lagrangian Perspective on GAN},
author = {Xu Chen and Jiang Wang and Hao Ge},
journal= {arXiv preprint arXiv:1802.01765},
year = {2018}
}
备注
Accepted by Sixth International Conference on Learning Representations (ICLR 2018). Xu Chen and Jiang Wang contributed equally