从变分不等式视角看生成对抗网络
机器学习
2020-09-01 v5 最优化与控制
机器学习
摘要
生成对抗网络（GANs）是一种以生成逼真样本而闻名的生成建模方法，但其训练难度众所周知。解决该问题的一种常见思路是提出新的 GAN 目标函数形式。然而，令人惊讶的是，极少有研究关注专为这种对抗式训练设计的优化方法。在本文中，我们将 GAN 优化问题纳入一般的变分不等式框架。借助数学规划领域的文献，我们反驳了关于鞍点优化困难的一些常见误解，并提议将专为变分不等式设计的技术推广到 GAN 的训练中。我们将平均化、外推以及一种计算代价更低的变体（我们称之为基于过去的外推）应用于随机梯度法（SGD）和 Adam。
引用
@article{arxiv.1802.10551,
title = {A Variational Inequality Perspective on Generative Adversarial Networks},
author = {Gauthier Gidel and Hugo Berard and Gaëtan Vignoud and Pascal Vincent and Simon Lacoste-Julien},
journal= {arXiv preprint arXiv:1802.10551},
year = {2020}
}
备注
Appears in: Proceedings of the Seventh International Conference on Learning Representations (ICLR 2019). Minor modifications with respect to the ICLR version (First paragraph of page 2 and section 3.3): New reference [Popov 1980] and discussion with regards to the novelty of extrapolation from the past. 38 pages