揭开 MMD GAN 的神秘面纱

Mikołaj Bińkowski; Danica J. Sutherland; Michael Arbel; Arthur Gretton

揭开 MMD GAN 的神秘面纱

机器学习 2021-01-15 v5 机器学习

作者: Mikołaj Bińkowski , Danica J. Sutherland , Michael Arbel , Arthur Gretton

摘要

我们研究了使用最大均值差异（Maximum Mean Discrepancy, MMD）作为判别器的生成对抗网络的训练与性能，称为 MMD GAN。我们的主要理论贡献是澄清了近期工作提出的 GAN 损失函数中的偏差问题：我们证明，MMD GAN 与 Wasserstein GAN 优化过程中所用的梯度估计量是无偏的，但基于样本学习判别器会导致生成器参数的梯度有偏。我们还讨论了 MMD 判别器的核选择问题，并刻画了对应于 Cramer GAN 判别器所用能量距离的核。作为积分概率度量，MMD 受益于近期为 Wasserstein GAN 开发的训练策略。在实验中，MMD GAN 能够使用比 Wasserstein GAN 更小的判别器网络，从而得到更简单且训练更快、性能相当的算法。我们还提出了一种改进的 GAN 收敛度量，即核 inception 距离（Kernel Inception Distance），并展示了如何在 GAN 训练中利用它动态调整学习率。

关键词

生成对抗网络最大均值差异 MMD GAN Wasserstein GAN 梯度偏差核选择核 Inception 距离

引用

@article{arxiv.1801.01401,
  title  = {Demystifying MMD GANs},
  author = {Mikołaj Bińkowski and Danica J. Sutherland and Michael Arbel and Arthur Gretton},
  journal= {arXiv preprint arXiv:1801.01401},
  year   = {2021}
}

备注

Published at ICLR 2018: https://openreview.net/forum?id=r1lUOzWCW

揭开 MMD GAN 的神秘面纱

摘要

关键词

引用

备注

相关论文