理解 Lipschitz 连续性在生成对抗网络中的有效性
机器学习
2018-12-27 v6 人工智能
计算机视觉与模式识别
机器学习
摘要
本文中，我们研究导致 GAN 训练失败与成功的潜在因素。我们研究最优判别函数的性质，并表明在许多 GAN 中，来自最优判别函数的梯度并不可靠，这被证明是 GAN 训练失败的根本原因。我们进一步证明，定义良好的距离度量并不必然保证 GAN 的收敛。最后，我们在本文中证明 Lipschitz 连续性条件是使最优判别函数梯度可靠的一般性解决方案，并刻画了 Lipschitz 连续性确保收敛的必要条件，由此得到 Lipschitz 连续性条件下一族广泛的合法 GAN 目标函数，其中 Wasserstein 距离是特例。我们使用几个根据我们的定理成立的新目标函数进行实验，发现与 Wasserstein 距离相比，采用新目标函数的判别器输出更稳定，且生成样本的最终质量也始终高于 Wasserstein 距离所产生的样本。
引用
@article{arxiv.1807.00751,
title = {Understanding the Effectiveness of Lipschitz-Continuity in Generative Adversarial Nets},
author = {Zhiming Zhou and Yuxuan Song and Lantao Yu and Hongwei Wang and Jiadong Liang and Weinan Zhang and Zhihua Zhang and Yong Yu},
journal= {arXiv preprint arXiv:1807.00751},
year = {2018}
}