判别器的可逼近性意味着 GAN 中的多样性
机器学习
2019-07-02 v4 数据结构与算法
机器学习
摘要
尽管生成对抗网络（GANs）在经验上于学习复杂真实世界分布方面取得了令人印象深刻的成果，近期工作表明它们饱受多样性缺乏或模式崩溃之苦。Arora 等人的理论工作提出了关于 GAN 统计性质的一个两难：强大的判别器导致过拟合，而弱判别器无法检测模式崩溃。相比之下，我们在本文中表明，如果判别器类对特定生成器类（而非对所有可能生成器）具有强区分能力，则 GAN 原则上可以以多项式样本复杂度在 Wasserstein 距离（或在许多情况下的 KL 散度）下学习分布。针对如高斯混合、指数族以及可逆单射神经网络生成器等各种生成器类，我们设计了相应的判别器（通常为特定架构的神经网络），使得由判别器诱导的积分概率度量（IPM）可证明地逼近 Wasserstein 距离和/或 KL 散度。这意味着如果训练成功，则所学分布在 Wasserstein 距离或 KL 散度下接近真实分布，从而不会丢失模式。我们的初步实验表明，在合成数据集上测试 IPM 与 KL 散度或 Wasserstein 距离相关性良好，表明 GAN 中多样性的缺乏可能由优化中的次优性而非统计低效引起。
引用
@article{arxiv.1806.10586,
title = {Approximability of Discriminators Implies Diversity in GANs},
author = {Yu Bai and Tengyu Ma and Andrej Risteski},
journal= {arXiv preprint arXiv:1806.10586},
year = {2019}
}