累积量 GAN
机器学习
2021-08-25 v3 信息论
math.IT
机器学习
摘要
在本文中，我们提出了一种用于训练生成对抗网络（GAN）的新损失函数，旨在加深对底层优化问题的理论理解并改善其稳定性和性能。新损失函数基于累积量生成函数，由此产生了 Cumulant GAN（累积量 GAN）。依靠最近推导的变分公式，我们表明相应的优化问题等价于 Réniyi 散度最小化，从而提供了 GAN 损失的（部分）统一视角：Réniyi 族包含 Kullback-Leibler 散度（KLD）、反向 KLD、Hellinger 距离和 -散度。Wasserstein GAN 也是 cumulant GAN 的一员。在稳定性方面，我们严格证明了对于线性判别器、高斯分布和标准梯度下降上升算法，cumulant GAN 线性收敛到纳什均衡。最后，我们通过实验证明，当考虑较弱和较强的判别器时，图像生成相对于 Wasserstein GAN 更加鲁棒，并且在 inception score 和 Fréchet inception distance 方面均有实质性改进。
引用
@article{arxiv.2006.06625,
title = {Cumulant GAN},
author = {Yannis Pantazis and Dipjyoti Paul and Michail Fasoulakis and Yannis Stylianou and Markos Katsoulakis},
journal= {arXiv preprint arXiv:2006.06625},
year = {2021}
}
备注
37 pages, 27 figures