GAN 中的光滑性与稳定性
机器学习
2020-02-12 v1 机器学习
摘要
生成对抗网络(Generative Adversarial Networks, GANs)在训练过程中常表现出不稳定行为。在本工作中, 我们建立了一个有原则的理论框架, 用以理解各类 GAN 的稳定性。具体而言, 我们推导了当生成器以梯度下降训练时保证其最终平稳性的条件, 这些条件必须由 GAN 所最小化的散度以及生成器的架构所满足。我们发现现有 GAN 变体满足其中部分而非全部条件。利用凸分析、最优传输与再生核的工具, 我们构造了一个同时满足这些条件的 GAN。在此过程中, 我们解释并澄清了各种现有 GAN 稳定化技术的必要性, 包括 Lipschitz 约束、梯度惩罚与光滑激活函数。
引用
@article{arxiv.2002.04185,
title = {Smoothness and Stability in GANs},
author = {Casey Chu and Kentaro Minami and Kenji Fukumizu},
journal= {arXiv preprint arXiv:2002.04185},
year = {2020}
}
备注
ICLR 2020