关于具有谱控制的 GAN 的计算与泛化
机器学习
2019-03-05 v2 机器学习
摘要
生成对抗网络（Generative Adversarial Networks, GANs）虽功能强大，却难以训练。近期的若干工作（brock2016neural, miyato2018spectral）指出，控制判别器中权重矩阵的谱可显著改善 GAN 的训练。受此发现启发，我们提出一种训练 GAN 的新框架，其允许更灵活的谱控制（例如，使判别器的权重矩阵具有缓慢的奇异值衰减）。具体而言，我们对 GAN 中判别器的权重矩阵提出一种新的重参数化方法，使我们能够通过各种正则化项与约束直接操控权重矩阵的谱，而无需密集计算奇异值分解。理论上，我们进一步表明谱控制提升了 GAN 的泛化能力。我们在 CIFAR-10、STL-10 与 ImageNet 数据集上的实验证实，相较于其他方法，我们所提方法利用谱归一化并鼓励缓慢奇异值衰减，能够生成具有竞争力的图像质量。
引用
@article{arxiv.1812.10912,
title = {On Computation and Generalization of GANs with Spectrum Control},
author = {Haoming Jiang and Zhehui Chen and Minshuo Chen and Feng Liu and Dingding Wang and Tuo Zhao},
journal= {arXiv preprint arXiv:1812.10912},
year = {2019}
}
备注
Seventh International Conference on Learning Representations, ICLR 2019