细察生成对抗网络的优化景观
机器学习
2020-04-28 v3 机器学习
摘要
生成对抗网络在生成建模中已非常成功，然而与标准深度神经网络相比，它们训练起来仍相对具有挑战性。在本文中，我们提出了用于 GAN 优化景观的新可视化技术，使我们能够研究由双方参与者梯度拼接所产生的博弈向量场。利用这些可视化技术，我们通过实证表明 GAN 的训练在局部稳定驻点（LSSP）附近表现出显著的旋转，类似于理论在玩具例子上所预测的那样，从而试图弥合理论与实践之间的差距。此外，我们提供了经验证据，表明 GAN 训练收敛到一个稳定的驻点，该点是生成器损失的鞍点而非极小值，同时仍取得了优异的性能。
引用
@article{arxiv.1906.04848,
title = {A Closer Look at the Optimization Landscapes of Generative Adversarial Networks},
author = {Hugo Berard and Gauthier Gidel and Amjad Almahairi and Pascal Vincent and Simon Lacoste-Julien},
journal= {arXiv preprint arXiv:1906.04848},
year = {2020}
}