用于对抗 GANs 中模式崩溃的谱正则化
机器学习
2019-10-15 v3 机器学习
摘要
尽管近年来取得了优异进展，模式崩溃仍是生成对抗网络（GANs）中一个未解决的主要问题。在本文中，我们提出用于 GANs 的谱正则化（SR-GANs），一种用于对抗 GANs 中模式崩溃问题的新颖且鲁棒的方法。理论分析表明，判别器的最优解与权重矩阵的谱分布有强关联。因此，我们监测谱归一化 GANs（SN-GANs）判别器中的谱分布，并发现一种我们称之为谱崩溃的现象，即当模式崩溃发生时，权重矩阵的大量奇异值急剧下降。我们展示了将模式崩溃与谱崩溃联系起来的强证据；基于此联系，我们将解决谱崩溃作为模式崩溃的替代方案。我们开发了一种谱正则化方法，通过补偿权重矩阵的谱分布以防止其崩溃，进而成功防止 GANs 中的模式崩溃。我们提供了 SR-GANs 为何比 SN-GANs 更稳定且性能更优的理论解释。我们还给出了广泛的实验结果与分析，表明 SR-GANs 不仅始终优于 SN-GANs，而且总是在 SN-GANs 失败之处成功对抗模式崩溃。代码可在 https://github.com/max-liu-112/SRGANs-Spectral-Regularization-GANs- 获取。
引用
@article{arxiv.1908.10999,
title = {Spectral Regularization for Combating Mode Collapse in GANs},
author = {Kanglin Liu and Wenming Tang and Fei Zhou and Guoping Qiu},
journal= {arXiv preprint arXiv:1908.10999},
year = {2019}
}
备注
24 pages, 33 figures