论生成模型学习中最优传输梯度的存在性
机器学习
2024-04-04 v1 机器学习
摘要
利用最优传输代价学习生成模型已随着 Wasserstein 生成对抗网络(WGAN)而流行。WGAN 的训练依赖于一个理论背景:计算最优传输代价相对于生成模型参数的梯度。我们首先证明这样的梯度可能未定义,这会在基于梯度的优化过程中导致数值不稳定。我们通过陈述在熵正则化传输情形下的一个有效微分定理并指明保证其存在的条件来解决该问题。通过利用经验数据的离散性质,我们在半离散设定下表述该梯度,并提出一种用于优化生成模型参数的算法。最后,我们从数值上说明了所提框架的优势。
引用
@article{arxiv.2102.05542,
title = {On the Existence of Optimal Transport Gradient for Learning Generative Models},
author = {Antoine Houdard and Arthur Leclaire and Nicolas Papadakis and Julien Rabin},
journal= {arXiv preprint arXiv:2102.05542},
year = {2024}
}