关于GAN中梯度下降的收敛性：MMD GAN作为一种梯度流
机器学习
2020-11-05 v1 机器学习
摘要
我们考虑最大均值差异（）GAN问题，并提出一种参数化核化梯度流，其模拟了梯度正则化 GAN中的极小极大博弈。我们证明该流提供了一个在概率分布的统计流形上最小化的下降方向。随后我们推导出一个显式条件，确保梯度正则化 GAN中生成器参数空间上的梯度下降全局收敛到目标分布。在此条件下，我们给出了MMD GAN中梯度下降的非渐近收敛结果。本文的另一贡献是引入正则化的动态表述，并证明的参数化核化下降是关于这一新黎曼结构的该泛函的梯度流。我们所获得的定理结果使人们能够处理相当一般泛函的梯度流，从而在GAN之外对统计流形上的其他变分推断具有潜在应用。最后，数值实验表明我们的参数化核化梯度流稳定了GAN训练并保证了收敛。
引用
@article{arxiv.2011.02402,
title = {On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow},
author = {Youssef Mroueh and Truyen Nguyen},
journal= {arXiv preprint arXiv:2011.02402},
year = {2020}
}