GAN 是否真正学习分布？一项实证研究
机器学习
2017-07-04 v2
摘要
GANs (Generative Adversarial Nets) 是否真正学习目标分布？(Goodfellow et al 2014) 的基础性论文表明，如果给予足够大的深度网络、样本量和计算时间，它们确实学习。Arora et al（即将出现在 ICML 2017）最近的理论分析对当判别器具有有限大小时同样成立提出了怀疑。它表明，即使生成分布的支持集非常低，训练目标也可以接近其最优值——换句话说，训练目标无法防止模式崩溃。本短文报告了实验，表明此类问题不仅仅是理论上的。它提出了经验证据，表明著名的 GANs 方法确实学习了支持集相当低的分布，因此大概并未学习目标分布。主要技术贡献是一个新提出的测试，基于著名的生日悖论，用于估计生成分布的支持集大小。
引用
@article{arxiv.1706.08224,
title = {Do GANs actually learn the distribution? An empirical study},
author = {Sanjeev Arora and Yi Zhang},
journal= {arXiv preprint arXiv:1706.08224},
year = {2017}
}