康托罗维奇反击!Wasserstein GAN并非最优传输?
机器学习
2023-01-10 v2
摘要
Wasserstein生成对抗网络(WGAN)是基于最优传输(OT)理论与康托罗维奇对偶性构建的流行生成模型。尽管WGAN取得了成功,目前仍不清楚其底层的OT对偶求解器对OT代价(Wasserstein-1距离,)以及更新生成器所需的OT梯度的近似程度如何。本文中,我们探讨这些问题。我们构造1-Lipschitz函数并用其构建射线单调传输方案。该策略给出了在高维空间(如图像空间)中具有解析已知OT方案、OT代价与OT梯度的连续基准分布对。我们使用这些基准对详尽评估了流行的WGAN对偶形式求解器(梯度惩罚、谱归一化、熵正则化等)。尽管这些求解器在WGAN中表现良好,但它们均不能忠实计算高维下的。不过,许多求解器提供了OT梯度的有意义近似。这些观察表明,这些求解器不应被视为的良好估计器,但在某种程度上确实可用于需要最小化的变分问题中。
引用
@article{arxiv.2206.07767,
title = {Kantorovich Strikes Back! Wasserstein GANs are not Optimal Transport?},
author = {Alexander Korotin and Alexander Kolesov and Evgeny Burnaev},
journal= {arXiv preprint arXiv:2206.07767},
year = {2023}
}
备注
36th Conference on Neural Information Processing Systems (NeurIPS 2022) Track on Datasets and Benchmarks