对抗 Lipschitz 正则化
机器学习
2020-01-06 v3 计算机视觉与模式识别
机器学习
摘要
生成对抗网络(GANs)是训练生成模型时最流行的方法之一,其中 Wasserstein GANs 的变体被认为在学习稳定性和样本质量方面优于标准 GAN 形式。然而,Wasserstein GANs 要求判别器为 1-Lipschitz,这通常通过其梯度范数惩罚隐式强制,或通过权重归一化技术全局限制其 Lipschitz 常数。大多数情况下,使用显式惩罚 Lipschitz 约束违反的正则化项进行训练,而非通过梯度范数,被发现在实践中不可行。受虚拟对抗训练启发,我们提出一种称为对抗 Lipschitz 正则化(Adversarial Lipschitz Regularization)的方法,并表明显式 Lipschitz 惩罚确实是可行的,且在应用于 Wasserstein GANs 时带来有竞争力的性能,凸显了 Lipschitz 正则化与对抗训练之间的重要联系。
引用
@article{arxiv.1907.05681,
title = {Adversarial Lipschitz Regularization},
author = {Dávid Terjék},
journal= {arXiv preprint arXiv:1907.05681},
year = {2020}
}
备注
ICLR 2020