GraN-GAN: 用于生成对抗网络的分段梯度归一化
机器学习
2022-04-14 v1 计算机视觉与模式识别
机器学习
摘要
现代生成对抗网络(GANs)主要在判别器(或 critic)中使用分段线性激活函数,包括 ReLU 和 LeakyReLU。此类模型学习分段线性映射,其中每一段处理输入空间的一个子集,且各子集上的梯度为分段常数。在此类判别器(或 critic)函数下,我们提出梯度归一化(GraN),一种新颖的依赖于输入的归一化方法,其保证输入空间中的分段 K-Lipschitz 约束。与谱归一化不同,GraN 不约束单个网络层的处理;且与梯度惩罚不同,GraN 几乎处处严格强制分段 Lipschitz 约束。在经验上,我们展示了在多个数据集(包括 CIFAR-10/100、STL-10、LSUN bedrooms 和 CelebA)、GAN 损失函数和指标上的图像生成性能提升。此外,我们分析了在若干标准 GAN 中改变常未被调谐的 Lipschitz 常数 K,不仅获得了显著的性能增益,还发现了 K 与训练动态之间的联系,特别是在低梯度损失平台区中,结合常用的 Adam 优化器。
引用
@article{arxiv.2111.03162,
title = {GraN-GAN: Piecewise Gradient Normalization for Generative Adversarial Networks},
author = {Vineeth S. Bhaskara and Tristan Aumentado-Armstrong and Allan Jepson and Alex Levinshtein},
journal= {arXiv preprint arXiv:2111.03162},
year = {2022}
}
备注
WACV 2022 Main Conference Paper (Submitted: 18 Aug 2021, Accepted: 4 Oct 2021)