基于正则化最优传输训练 GAN 的收敛性与鲁棒性
机器学习
2018-05-23 v2 最优化与控制
机器学习
摘要
生成对抗网络（GANs）是学习数据分布最实用的方法之一。一种流行的 GAN 公式基于使用 Wasserstein 距离作为概率分布之间的度量。遗憾的是，最小化数据分布与生成模型分布之间的 Wasserstein 距离是一个计算上具有挑战性的问题，因为其目标非凸、非光滑，甚至难以计算。在本工作中，我们表明基于正则化最优传输（OT）的平滑 Wasserstein GAN 公式的梯度信息获取在计算上毫不费力，因此可应用一阶优化方法来最小化该目标。进而，我们为所提出的一类 GAN 优化算法建立了到驻点的理论收敛保证。与原始非光滑公式不同，我们的算法仅需将判别器求解至近似最优。我们将方法应用于 MNIST 数字及 CIFAR-10 图像的学习。实验表明，在相同架构与计算能力下，我们的方法计算高效且生成图像可与最先进算法媲美。
引用
@article{arxiv.1802.08249,
title = {On the Convergence and Robustness of Training GANs with Regularized Optimal Transport},
author = {Maziar Sanjabi and Jimmy Ba and Meisam Razaviyayn and Jason D. Lee},
journal= {arXiv preprint arXiv:1802.08249},
year = {2018}
}