相对判别器:标准 GAN 中缺失的关键要素
机器学习
2018-09-11 v3 人工智能
密码学与安全
机器学习
摘要
在标准生成对抗网络(SGAN)中,判别器估计输入数据为真实的概率。生成器被训练为提高假数据为真的概率。我们认为它也应当同时降低真实数据为真的概率,因为 1)这考虑了小批量中一半数据为假的先验知识,2)这将在散度最小化中观察到,以及 3)在最优设定下,SGAN 将等价于积分概率度量(IPM)GAN。我们表明,该性质可通过使用相对判别器来诱导,其估计给定真实数据比随机采样的假数据更真实的概率。我们还提出了一种变体,其中判别器估计给定真实数据平均而言比假数据更真实的概率。我们将两种方法推广到非标准 GAN 损失函数,并分别称其为相对 GAN(RGAN)和相对平均 GAN(RaGAN)。我们表明基于 IPM 的 GAN 是使用恒等函数的 RGAN 的子集。经验上,我们观察到 1)RGAN 和 RaGAN 比其非相对对应物显著更稳定且生成更高质量的数据样本,2)带梯度惩罚的标准 RaGAN 生成的数据质量优于 WGAN-GP,同时每次生成器更新仅需一次判别器更新(将达到最先进状态所需时间减少 400%),以及 3)RaGAN 能够从极小的样本(N=2011)生成合理的高分辨率图像(256x256),而 GAN 和 LSGAN 不能;这些图像的质量显著优于 WGAN-GP 和带谱归一化的 SGAN 生成的图像。
引用
@article{arxiv.1807.00734,
title = {The relativistic discriminator: a key element missing from standard GAN},
author = {Alexia Jolicoeur-Martineau},
journal= {arXiv preprint arXiv:1807.00734},
year = {2018}
}
备注
https://github.com/AlexiaJM/RelativisticGAN