中文

康托罗维奇反击!Wasserstein GAN并非最优传输?

机器学习 2023-01-10 v2

摘要

Wasserstein生成对抗网络(WGAN)是基于最优传输(OT)理论与康托罗维奇对偶性构建的流行生成模型。尽管WGAN取得了成功,目前仍不清楚其底层的OT对偶求解器对OT代价(Wasserstein-1距离,W1\mathbb{W}_{1})以及更新生成器所需的OT梯度的近似程度如何。本文中,我们探讨这些问题。我们构造1-Lipschitz函数并用其构建射线单调传输方案。该策略给出了在高维空间(如图像空间)中具有解析已知OT方案、OT代价与OT梯度的连续基准分布对。我们使用这些基准对详尽评估了流行的WGAN对偶形式求解器(梯度惩罚、谱归一化、熵正则化等)。尽管这些求解器在WGAN中表现良好,但它们均不能忠实计算高维下的W1\mathbb{W}_{1}。不过,许多求解器提供了OT梯度的有意义近似。这些观察表明,这些求解器不应被视为W1\mathbb{W}_{1}的良好估计器,但在某种程度上确实可用于需要最小化W1\mathbb{W}_{1}的变分问题中。

关键词

引用

@article{arxiv.2206.07767,
  title  = {Kantorovich Strikes Back! Wasserstein GANs are not Optimal Transport?},
  author = {Alexander Korotin and Alexander Kolesov and Evgeny Burnaev},
  journal= {arXiv preprint arXiv:2206.07767},
  year   = {2023}
}

备注

36th Conference on Neural Information Processing Systems (NeurIPS 2022) Track on Datasets and Benchmarks