GAN的Top-k训练：通过丢弃坏样本提升GAN性能
机器学习
2020-10-26 v4 机器学习
摘要
我们引入了对生成对抗网络（GAN）训练算法的一个简单（一行代码）修改，可在不增加计算成本的情况下实质性地改善结果：在更新生成器参数时，我们简单地将在判别器评分中被视为“最不真实”的批次元素的梯度贡献置零。通过在许多不同GAN变体上的实验，我们表明这种“top-k更新”过程是一种普遍适用的改进。为理解改进的本质，我们在一个简单的混合高斯数据集上进行了广泛分析，并发现了若干有趣现象。其中之一是，当使用得分最差的批次元素计算梯度更新时，样本实际上可能被推离其最近的模式更远。我们还将我们的方法应用于近期GAN变体，并在CIFAR-10上将条件生成的最先进FID从9.21提升至8.57。
引用
@article{arxiv.2002.06224,
title = {Top-k Training of GANs: Improving GAN Performance by Throwing Away Bad Samples},
author = {Samarth Sinha and Zhengli Zhao and Anirudh Goyal and Colin Raffel and Augustus Odena},
journal= {arXiv preprint arXiv:2002.06224},
year = {2020}
}
备注
NeurIPS 2020. Samarth Sinha and Zhengli Zhao contributed equally as joint first authors