关于 Wasserstein GAN 的正则化
机器学习
2018-03-06 v2 机器学习
摘要
自问世以来，生成对抗网络（GAN）已成为学习对真实（无标签）数据分布进行建模的一种流行方法。Wasserstein GAN 克服了训练过程中的收敛问题，它以不同的度量最小化模型与经验分布之间的距离，但由此在优化问题中引入了 Lipschitz 约束。对可由神经网络建模的函数类施加 Lipschitz 约束的一种简单方法是权重裁剪。已有研究提出，通过在损失函数中增加一个正则化项来惩罚判别器（作为网络输入的函数）梯度偏离 1 的程度，可以改进训练。我们提出了理论论证，说明为何使用施加 Lipschitz 约束的较弱正则化项更为可取。这些论证得到了在玩具数据集上的实验结果的支持。
引用
@article{arxiv.1709.08894,
title = {On the regularization of Wasserstein GANs},
author = {Henning Petzka and Asja Fischer and Denis Lukovnicov},
journal= {arXiv preprint arXiv:1709.08894},
year = {2018}
}
备注
Published as a conference paper at ICLR 2018. * Henning Petzka and Asja Fischer contributed equally to this work (11 pages +13 pages appendix)