辅助对抗器以改善 GAN 训练
机器学习
2020-12-10 v2 机器学习
摘要
一些最流行的用于提升 GAN 稳定性与性能的方法涉及对判别器进行约束或正则化。本文考虑一种被严重忽视的正则化技术,我们称之为对抗器的助手(Adversary's Assistant, AdvAs)。我们采用与先前工作不同的视角来论证其动机。具体而言,我们考虑理论分析与实践之间常见的失配:分析通常假设判别器在每次迭代中达到最优。在实践中这基本从不成立,常导致生成器的梯度估计很差。为此,AdvAs 是一种基于用于训练判别器的梯度范数、施加于生成器的理论驱动惩罚项,它鼓励生成器移向判别器最优的点。我们展示了将 AdvAs 应用于若干 GAN 目标函数、数据集与网络架构的效果。结果表明,理论与实践的失配得以减小,且按 FID 分数衡量,AdvAs 能改善 GAN 训练。
引用
@article{arxiv.2010.01274,
title = {Assisting the Adversary to Improve GAN Training},
author = {Andreas Munk and William Harvey and Frank Wood},
journal= {arXiv preprint arXiv:2010.01274},
year = {2020}
}