关于将对偶间隙作为 GAN 训练监控指标
机器学习
2020-12-15 v1 人工智能
摘要
生成对抗网络（GAN）是学习复杂数据分布最受欢迎的深度学习模型之一。然而，训练 GAN 众所周知是一项具有挑战性的任务。这常归因于训练进展与生成器和判别器损失轨迹之间缺乏相关性，以及对 GAN 主观评估的需求。最近提出的一种受博弈论启发的指标——对偶间隙，旨在弥合这一差距。然而，正如我们所展示的，由于其估计过程的局限性，对偶间隙的能力仍然受限。本文给出该局限性的理论理解，并提出一种更可靠的对偶间隙估计过程。我们方法的核心思想是：局部扰动可帮助零和博弈中的智能体高效逃离非纳什鞍点。通过在 GAN 模型与数据集上的详尽实验，我们确立了该方法在以极小增加计算复杂度为代价下捕捉 GAN 训练进展的有效性。进一步，我们表明我们的估计因其识别模型收敛/发散的能力，是一种可用于调优 GAN 超参数的潜在性能指标。
引用
@article{arxiv.2012.06723,
title = {On Duality Gap as a Measure for Monitoring GAN Training},
author = {Sahil Sidheekh and Aroof Aimen and Vineet Madan and Narayanan C. Krishnan},
journal= {arXiv preprint arXiv:2012.06723},
year = {2020}
}