用于训练生成对抗网络的自适应加权判别器
机器学习
2021-05-31 v2
摘要
生成对抗网络（GAN）已成为经典无监督机器学习最重要的神经网络模型之一。人们已开发多种判别器损失函数来训练 GAN 的判别器，它们都有一个共同结构：仅分别依赖于真实数据和生成数据的真实损失与伪造损失之和。等权求和两种损失带来的一个挑战是，训练可能有利于一个损失却损害另一个损失，我们证明这会导致不稳定和模式崩溃。本文中，我们引入一类新的判别器损失函数，采用真实与伪造部分的加权和，称之为自适应加权损失函数或 aw-loss 函数。利用损失真实与伪造部分的梯度，我们可以自适应地选择权重，沿有利于 GAN 稳定性的方向训练判别器。我们的方法可潜在应用于任何具有真实与伪造部分之和损失的判别器模型。实验在无条件图像生成任务上验证了损失函数的有效性，在 CIFAR-10、STL-10 和 CIFAR-100 数据集上以 Inception Scores 和 FID 显著提升了基线结果。
引用
@article{arxiv.2012.03149,
title = {Adaptive Weighted Discriminator for Training Generative Adversarial Networks},
author = {Vasily Zadorozhnyy and Qiang Cheng and Qiang Ye},
journal= {arXiv preprint arXiv:2012.03149},
year = {2021}
}
备注
16 pages total, 7 figures, 6 tables and 2 algorithms