关于GAN的收敛性与稳定性
人工智能
2017-12-12 v5 计算机视觉与模式识别
计算机科学与博弈论
机器学习
神经与进化计算
摘要
我们提议将GAN训练动力学作为遗憾最小化来研究，这与普遍认为的真实分布与生成分布之间散度被持续最小化的观点形成对比。我们从这一新视角分析GAN训练的收敛性，以理解模式坍塌为何发生。我们假设，在这个非凸博弈中存在的不良局部均衡是导致模式坍塌的原因。我们观察到，这些局部均衡通常在部分真实数据点附近表现出判别器函数的尖锐梯度。我们证明，通过一种称为DRAGAN的梯度惩罚方案可以避免这些退化的局部均衡。我们表明，DRAGAN能够实现更快的训练，在减少模式坍塌的同时提高稳定性，并在多种架构和目标函数下使生成器网络具有更好的建模性能。
引用
@article{arxiv.1705.07215,
title = {On Convergence and Stability of GANs},
author = {Naveen Kodali and Jacob Abernethy and James Hays and Zsolt Kira},
journal= {arXiv preprint arXiv:1705.07215},
year = {2017}
}
备注
Analysis of convergence and mode collapse by studying GAN training process as regret minimization. Some new results