谱归一化为何能稳定GAN：分析与改进
机器学习
2021-04-09 v2 计算机视觉与模式识别
机器学习
摘要
谱归一化（SN）是一种广泛用于改善生成对抗网络（GANs）稳定性和样本质量的技术。然而，目前对SN为何有效的理解有限。在本工作中，我们表明SN控制了GAN训练的两个重要失效模式：梯度爆炸与梯度消失。我们的证明揭示了（或许是偶然的）与成功的LeCun初始化之间的联系。这一联系有助于解释为何GAN中最流行的SN实现无需超参数调优，而更严格的SN实现在开箱即用时经验性能较差。与仅在训练初期控制梯度消失的LeCun初始化不同，SN在整个训练过程中保持这一性质。基于该理论理解，我们提出了一种新的谱归一化技术：双向缩放谱归一化（BSSN），其融合了后来对LeCun初始化的改进：Xavier初始化与Kaiming初始化。理论上，我们表明BSSN比SN具有更好的梯度控制。在经验上，我们证明在多个基准数据集上，其在样本质量与训练稳定性方面优于SN。
引用
@article{arxiv.2009.02773,
title = {Why Spectral Normalization Stabilizes GANs: Analysis and Improvements},
author = {Zinan Lin and Vyas Sekar and Giulia Fanti},
journal= {arXiv preprint arXiv:2009.02773},
year = {2021}
}
备注
54 pages, 74 figures