面向 Wasserstein 距离在 GAN 中推广实现的路径
机器学习
2021-01-13 v2 机器学习
摘要
Wasserstein GAN(WGAN)建立在 Wasserstein 距离的 Kantorovich-Rubinstein(KR)对偶之上，是最具理论严谨性的 GAN 模型之一。然而在实践中，它并非总优于其他 GAN 变体。这主要归因于 KR 对偶所需的 Lipschitz 条件的不完美实现。学界已就 Lipschitz 约束的不同实现做了大量工作，但在实践中仍难以完美满足该限制。本文中，我们认为强 Lipschitz 约束对优化而言可能并非必要。相反，我们退一步尝试放宽 Lipschitz 约束。理论上，我们首先给出了称为 Sobolev 对偶的更一般的 Wasserstein 距离对偶形式，其放宽了 Lipschitz 约束但仍保持了 Wasserstein 距离良好的梯度性质。此外，我们表明 KR 对偶实为 Sobolev 对偶的特例。基于放宽的对偶，我们进一步提出了名为 Sobolev Wasserstein GAN(SWGAN)的广义 WGAN 训练方案，并通过大量实验从经验上证明了 SWGAN 相较现有方法的提升。
引用
@article{arxiv.2012.03420,
title = {Towards Generalized Implementation of Wasserstein Distance in GANs},
author = {Minkai Xu and Zhiming Zhou and Guansong Lu and Jian Tang and Weinan Zhang and Yong Yu},
journal= {arXiv preprint arXiv:2012.03420},
year = {2021}
}
备注
Accepted by AAAI 2021