GAN 中正则化与归一化方法的系统性综述

得益于深度神经网络的发展，生成对抗网络（GANs）已被广泛应用于不同场景。原始 GAN 是基于网络具有无限容量的非参数假设提出的。然而，GANs 是否能在无任何先验信息的情况下拟合目标分布仍未知。由于这种过度自信的假设，GANs 训练中的许多问题仍未解决，如非收敛、模式崩溃、梯度消失。正则化与归一化是引入先验信息以稳定训练并提升判别能力的常用方法。尽管已有少量针对 GANs 的正则化与归一化方法被提出，但据我们所知，除一些不全面且范围有限的研究外，尚不存在主要关注这些方法的目标与发展的综合性综述。在本文中，我们从 GANs 训练的不同角度对正则化与归一化技术进行了全面综述。首先，我们系统性地描述了 GANs 训练的不同角度，从而得到正则化与归一化的不同目标。基于这些目标，我们提出了一种新的分类法。此外，我们在不同数据集上比较了主流方法的性能，并研究了在最先进的 GANs 中频繁使用的正则化与归一化技术的应用。最后，我们指出了该领域潜在的未来研究方向。本文中与 GANs 正则化与归一化相关的代码与研究总结于 https://github.com/iceli1007/GANs-Regularization-Review。