哪些 GAN 训练方法实际收敛？
机器学习
2018-08-01 v4 人工智能
计算机科学与博弈论
摘要
近期工作已表明在数据与生成器分布为绝对连续时 GAN 训练的局部收敛性。在本文中，我们说明绝对连续性要求是必要的：我们描述了一个简单却具原型性的反例，表明在分布非绝对连续的更现实情形下，未正则化的 GAN 训练并非总是收敛。此外，我们讨论了近期提出的用于稳定 GAN 训练的正则化策略。我们的分析表明，带有实例噪声或零中心梯度惩罚的 GAN 训练收敛。另一方面，我们证明具有每次生成器更新有限次判别器更新的 Wasserstein-GANs 与 WGAN-GP 并非总是收敛到平衡点。我们讨论了这些结果，由此对 GAN 训练的稳定性问题给出了新的解释。基于我们的分析，我们将收敛结果推广到更一般的 GAN，并证明了即便生成器与数据分布位于低维流形上，简化梯度惩罚的局部收敛性。我们发现这些惩罚在实践中表现良好，并用它们在少量超参数调优下为多种数据集学习高分辨率生成图像模型。
引用
@article{arxiv.1801.04406,
title = {Which Training Methods for GANs do actually Converge?},
author = {Lars Mescheder and Andreas Geiger and Sebastian Nowozin},
journal= {arXiv preprint arXiv:1801.04406},
year = {2018}
}
备注
conference