MonoFlow：从 Wasserstein 梯度流视角重新思考散度 GAN
机器学习
2023-08-09 v5 机器学习
摘要
对生成对抗网络（GANs）中对抗训练的传统理解是：判别器被训练以估计一个散度，而生成器学习最小化该散度。我们认为，尽管许多 GAN 变体依此范式发展而来，当前对 GAN 的理论理解与其实际算法并不一致。本文中，我们利用刻画样本空间中粒子演化的 Wasserstein 梯度流，来获得对 GAN 的理论洞见与算法启发。我们引入一个统一的生成建模框架——MonoFlow：粒子演化通过对数密度比单调增映射被重新缩放。在我们的框架下，对抗训练可视为先通过训练判别器获得 MonoFlow 的向量场，而生成器学习绘制由相应向量场定义的粒子流的过程。我们还揭示了变分散度最小化与对抗训练之间的根本差异。该分析有助于我们识别何种类型的生成器损失函数能导致 GAN 的成功训练，并提示只要实现了 MonoFlow，GAN 可能拥有超出文献（例如非饱和损失）的更多损失设计。文中包含了一致的实证研究以验证我们框架的有效性。
引用
@article{arxiv.2302.01075,
title = {MonoFlow: Rethinking Divergence GANs via the Perspective of Wasserstein Gradient Flows},
author = {Mingxuan Yi and Zhanxing Zhu and Song Liu},
journal= {arXiv preprint arXiv:2302.01075},
year = {2023}
}
备注
ICML 2023