用方差缩减外梯度降低 GAN 训练中的噪声
机器学习
2020-06-29 v3 机器学习
最优化与控制
摘要
我们研究随机梯度噪声对生成对抗网络（GANs）训练的影响，并表明其会阻碍标准博弈优化方法的收敛，而批量版本则收敛。我们用一种新颖的随机方差缩减外梯度（SVRE）优化算法解决此问题，该算法对一大类博弈改进了文献中先前提出的收敛速率。我们从经验上观察到，SVRE 在 MNIST 上表现与批量方法类似，同时计算更廉价，并且 SVRE 在标准数据集上带来了更稳定的 GAN 训练。
引用
@article{arxiv.1904.08598,
title = {Reducing Noise in GAN Training with Variance Reduced Extragradient},
author = {Tatjana Chavdarova and Gauthier Gidel and François Fleuret and Simon Lacoste-Julien},
journal= {arXiv preprint arXiv:1904.08598},
year = {2020}
}
备注
latest NeurIPS'19 version