对抗 GAN 训练中的模式崩溃：基于 Hessian 特征值的实证分析
机器学习
2020-12-18 v1 计算机视觉与模式识别
摘要
生成对抗网络(GANs)在图像生成中提供最先进的结果。然而，尽管如此强大，它们仍非常难以训练。这尤其由其高度非凸优化空间导致众多不稳定性。其中，模式崩溃(mode collapse)是最令人畏惧的问题之一。当模型仅能拟合数据分布的少数几个模式而忽略大多数模式时，就会发生这一不良事件。本工作中，我们利用二阶梯度信息对抗模式崩溃。为此，我们通过 Hessian 特征值分析损失曲面，并表明模式崩溃与向尖锐极小值的收敛相关。特别地，我们观察到 的特征值如何与模式崩溃的发生直接关联。最后，受这些发现启发，我们设计了一种称为 nudged-Adam (NuGAN) 的新优化算法，该算法利用谱信息克服模式崩溃，从而在经验上带来更稳定的收敛性质。
引用
@article{arxiv.2012.09673,
title = {Combating Mode Collapse in GAN training: An Empirical Analysis using Hessian Eigenvalues},
author = {Ricard Durall and Avraam Chatzimichailidis and Peter Labus and Janis Keuper},
journal= {arXiv preprint arXiv:2012.09673},
year = {2020}
}