Lipschitz正则化如何影响GAN训练？
计算机视觉与模式识别
2020-08-26 v3 机器学习
摘要
尽管Lipschitz正则化在稳定GAN训练方面取得了成功，但其有效性的确切原因仍知之甚少。-Lipschitz正则化的直接效应是将神经网络梯度的范数限制为小于阈值（例如），使得。在本工作中，我们通过考察Lipschitz正则化对损失函数的影响，揭示了其更为重要的效应：它通过限制损失函数的域和可达到的梯度值区间，使GAN损失函数退化为几乎线性的函数。我们的分析表明，损失函数只有在退化为几乎线性的函数时才能成功。我们还表明，若未退化，损失函数表现不佳；并且只要被正则化充分退化，广泛的函数都可用作损失函数。基本上，Lipschitz正则化确保所有损失函数以相同的方式有效工作。在经验上，我们在MNIST、CIFAR10和CelebA数据集上验证了我们的命题。
引用
@article{arxiv.1811.09567,
title = {How does Lipschitz Regularization Influence GAN Training?},
author = {Yipeng Qin and Niloy Mitra and Peter Wonka},
journal= {arXiv preprint arXiv:1811.09567},
year = {2020}
}
备注
Accepted at ECCV 2020