Wasserstein生成对抗网络及其扩展的微分方程方法
机器学习
2025-02-05 v2 机器学习
摘要
本文提出了一种新的理论视角来审视Wasserstein生成对抗网络（WGAN）。为了最小化真实数据分布与其估计之间的Wasserstein-1距离，我们推导出一个依赖于分布的常微分方程（ODE），该方程代表了Wasserstein-1损失的梯度流，并证明了该ODE的前向欧拉离散化是收敛的。这启发了一类新的生成模型，该模型自然地集成了持续训练（我们称之为W1-FE）。当关闭持续训练时，我们证明W1-FE退化为WGAN。当加强持续训练时，W1-FE在从低维到高维的训练实验中，在收敛速度和训练结果方面均优于WGAN。有趣的是，只有通过我们的ODE视角仔细集成持续训练，才能获得这些优势。数值实验表明，在WGAN中简单加入持续训练（不依赖我们的ODE框架）会显著恶化训练结果。
引用
@article{arxiv.2405.16351,
title = {A Differential Equation Approach for Wasserstein GANs and Beyond},
author = {Zachariah Malik and Yu-Jui Huang},
journal= {arXiv preprint arXiv:2405.16351},
year = {2025}
}