一阶生成对抗网络
机器学习
2018-06-08 v2 机器学习
摘要
GAN 擅长学习高维分布，但它们可能沿不对应于目标函数最速下降方向的方向更新生成器参数。问题更新方向的显著例子包括 Goodfellow 原始 GAN 和 WGAN-GP 中所使用的方向。为形式化描述最优更新方向，我们引入了一个理论框架，该框架允许推导关于散度及相应更新方向确定方法的要求，这些要求保证沿最速下降方向的无偏小批量更新。我们提出了一种新颖的散度，它在正则化判别器一阶信息的同时近似 Wasserstein 距离。结合相应的更新方向，该散度满足了无偏最速下降更新的要求。我们在 CelebA、LSUN 和 CIFAR-10 上通过图像生成验证了我们的方法——一阶 GAN（First Order GAN），并在十亿词语言生成任务上确立了新的 SOTA。用于复现实验的代码已公开。
引用
@article{arxiv.1802.04591,
title = {First Order Generative Adversarial Networks},
author = {Calvin Seward and Thomas Unterthiner and Urs Bergmann and Nikolay Jetchev and Sepp Hochreiter},
journal= {arXiv preprint arXiv:1802.04591},
year = {2018}
}
备注
Accepted to 35th International Conference on Machine Learning (ICML). Code to reproduce experiments is available https://github.com/zalandoresearch/first_order_gan