Moreau-Yosida $f$-散度

$f$-散度的变分表示是许多机器学习算法的核心，其中 Lipschitz 约束变体近来受到关注。受此启发，我们定义了 $f$-散度关于 Wasserstein-$1$ 度量的 Moreau-Yosida 近似。相应的变分公式推广了若干近期结果、提供了新的感兴趣的特殊情形并放宽了硬性 Lipschitz 约束。此外，我们证明了所谓 $f$-散度的紧变分表示可在 Lipschitz 函数的商空间上取，并刻画了在变分表示中实现上确界的函数。在实践方面，我们提出了一种计算与自动微分框架兼容的 $f$-散度紧凸共轭的算法。作为我们结果的应用，我们提出了 Moreau-Yosida $f$-GAN，将 Kullback-Leibler、反向 Kullback-Leibler、$\chi^2$、反向 $\chi^2$、平方 Hellinger、Jensen-Shannon、Jeffreys、三角判别与全变差散度作为在 CIFAR-10 上训练的 GAN 的变分公式实现，取得了有竞争力的结果，并简单解决了最优判别器唯一性问题。