规定生成对抗网络
机器学习
2019-10-11 v1 机器学习
统计方法学
摘要
生成对抗网络（GANs）是一种强大的无监督学习方法。它们在图像领域取得了最先进的性能。然而，GANs在两方面存在局限。它们常学习到低支撑度的分布——即所谓的模式崩塌现象——且不能保证概率密度的存在，这使得利用预测对数似然评估泛化能力变得不可能。本文中，我们开发了规定生成对抗网络（PresGAN）以解决这些缺陷。PresGANs向密度网络的输出添加噪声，并优化一个熵正则化的对抗损失。所加噪声使得预测对数似然的可处理近似成为可能，并稳定了训练过程。熵正则化项促使PresGANs捕捉数据分布的所有模式。拟合PresGANs涉及计算熵正则化项不可处理的梯度；PresGANs利用无偏随机估计规避了这一不可处理性。我们在多个数据集上评估了PresGANs，发现它们缓解了模式崩塌并生成了具有高感知质量的样本。我们进一步发现，PresGANs缩小了传统GANs与变分自编码器（VAEs）之间在预测对数似然上的性能差距。
引用
@article{arxiv.1910.04302,
title = {Prescribed Generative Adversarial Networks},
author = {Adji B. Dieng and Francisco J. R. Ruiz and David M. Blei and Michalis K. Titsias},
journal= {arXiv preprint arXiv:1910.04302},
year = {2019}
}
备注
Code for this paper can be found at https://github.com/adjidieng/PresGANs