生成对抗网络中批量归一化与权重归一化的影响
机器学习
2017-12-05 v4 计算机视觉与模式识别
机器学习
摘要
生成对抗网络（GANs）是极为有效的无监督学习框架，能够生成非常清晰的数据，即便是具有复杂、高度多模态分布的图像等数据也不例外。然而，众所周知 GANs 很难训练，存在模式崩溃和令人困扰的视觉伪影等问题。批量归一化（BN）技术被引入以解决训练问题。尽管 BN 在初期加速了训练，但我们的实验表明，使用 BN 可能不稳定，并对训练模型的质量产生负面影响。由于缺乏针对 GAN 模型的有效客观质量度量，对 BN 以及许多其他近期提出的改进 GAN 训练的方案进行评估受到了阻碍。为解决这些问题，我们首先提出了一种用于 GAN 训练的权重归一化（WN）方法，该方法显著提升了生成样本的稳定性和效率以及质量。为进行系统性评估，我们引入测试集上的平方欧氏重建误差作为一种新的客观度量，从速度、稳定性及生成样本质量方面评估训练性能。我们在常用数据集（CelebA、LSUN bedroom 和 CIFAR-10）上使用标准 DCGAN 架构进行的实验表明，对于 GANs，使用 WN 训练通常优于 BN，重建均方损失降低 10%，且定性结果显著优于 BN。我们进一步在 CelebA 数据集上训练的 21 层 ResNet 中证明了 WN 的稳定性。本文代码可在 https://github.com/stormraiser/gan-weightnorm-resnet 获取。
引用
@article{arxiv.1704.03971,
title = {On the Effects of Batch and Weight Normalization in Generative Adversarial Networks},
author = {Sitao Xiang and Hao Li},
journal= {arXiv preprint arXiv:1704.03971},
year = {2017}
}
备注
v3 rejected by NIPS 2017, updated and re-submitted to CVPR 2018. v4: add experiments with ResNet and like to new code