利用变分不等式实现 GAN 均衡点的全局收敛
机器学习
2019-05-21 v3 机器学习
摘要
在优化中，函数的负梯度表示最速下降方向。此外，沿任何与梯度正交的方向行进会保持函数值不变。在这项工作中，我们表明梯度下降所忽略的这些正交方向在均衡问题中可能至关重要。由于生成对抗网络（GAN）的出现，均衡问题在机器学习中引起了高度关注。我们使用变分不等式框架来分析一种基本 GAN 变体——Wasserstein 线性二次 GAN 的流行训练算法。我们表明最速下降方向会导致偏离均衡点，而收敛到均衡点是通过沿某一特定正交方向实现的。我们称这一成功技术为 Crossing-the-Curl（穿越旋度），其名称源于数学推导以及直观含义：识别博弈的旋转轴，并“跨越”空间朝更小“卷曲”的方向移动。
引用
@article{arxiv.1808.01531,
title = {Global Convergence to the Equilibrium of GANs using Variational Inequalities},
author = {Ian Gemp and Sridhar Mahadevan},
journal= {arXiv preprint arXiv:1808.01531},
year = {2019}
}