GAN 中的隐式竞争正则化
机器学习
2020-11-03 v4 机器学习
摘要
为改善 GAN 训练的稳定性，我们需要理解其为何能生成逼真的样本。目前，这被归因于在最优判别器下所得到的散度的性质。这一论点存在一个根本缺陷：如果我们不对判别器施加正则性约束，它便可以利用生成器在视觉上不可察觉的误差来始终取得最大的生成器损失。在实践中，梯度惩罚被用于正则化判别器。然而，这需要在图像空间上定义一个能够刻画视觉相似性的度量。这样的度量尚属未知，这也解释了梯度惩罚在稳定 GAN 方面的有限成效。我们认为，GAN 的性能反而是源于生成器与判别器同步优化所产生的隐式竞争正则化（ICR）。ICR 会促使解在判别器看来是真实的，从而利用其归纳偏置来生成逼真图像。我们表明，生成器与判别器的对手感知建模（如竞争梯度下降（CGD）中所采用的）能够显著增强 ICR，进而无需显式正则化即可稳定 GAN 训练。在实验中，我们采用已有的 WGAN-GP 实现，并表明通过用 CGD 训练它，我们能在多种场景下提升 CIFAR10 上的 inception score（IS），且无需任何超参数调优。最高的 IS 由 CGD 与 WGAN-loss 结合取得，且没有任何显式正则化。
引用
@article{arxiv.1910.05852,
title = {Implicit competitive regularization in GANs},
author = {Florian Schäfer and Hongkai Zheng and Anima Anandkumar},
journal= {arXiv preprint arXiv:1910.05852},
year = {2020}
}
备注
The code used to produce the numerical experiments can be found under http://github.com/devzhk/ICR . A high-level overview of this work can be found under https://f-t-s.github.io/projects/icr/