最小二乘生成对抗网络的有效性研究
计算机视觉与模式识别
2018-09-24 v2 机器学习
机器学习
摘要
利用生成对抗网络(GANs)的无监督学习已被证明极为成功。常规GANs将判别器假设为带有sigmoid交叉熵损失函数的分类器。然而,我们发现该损失函数在学习过程中可能导致梯度消失问题。为克服此问题,我们在本文中提出最小二乘生成对抗网络(LSGANs),其对判别器和生成器均采用最小二乘损失。我们表明,最小化LSGAN的目标函数等价于最小化Pearson 散度。我们还表明,所导出的使Pearson 散度最小化的目标函数优于使用最小二乘进行分类的经典目标函数。相较于常规GANs,LSGANs有两个优势。首先,LSGANs能够生成比常规GANs更高质量的图像。其次,LSGANs在学习过程中表现得更稳定。为评估图像质量,我们进行了定性和定量实验,实验结果表明LSGANs能生成比常规GANs更高质量的图像。此外,我们从两组对比评估LSGANs的稳定性。一组为LSGANs与无梯度惩罚的常规GANs比较。我们进行了三项实验,包括高斯混合分布、困难架构以及一种新方法——低差异性数据集,以说明LSGANs的稳定性。另一组为带梯度惩罚的LSGANs(LSGANs-GP)与带梯度惩罚的WGANs(WGANs-GP)比较。实验结果表明,LSGANs-GP在所用于WGANs-GP的所有困难架构(包括101层ResNet)上均训练成功。
引用
@article{arxiv.1712.06391,
title = {On the Effectiveness of Least Squares Generative Adversarial Networks},
author = {Xudong Mao and Qing Li and Haoran Xie and Raymond Y. K. Lau and Zhen Wang and Stephen Paul Smolley},
journal= {arXiv preprint arXiv:1712.06391},
year = {2018}
}