生成对抗网络学习分布的良好程度

本文研究了在对抗框架下通过生成对抗网络（GANs）隐式学习分布的收敛速率，该框架将 Wasserstein、Sobolev、MMD GAN 以及广义/模拟矩估计（GMM/SMM）作为特例涵盖其中。我们在多种目标评估度量下研究广泛的参数与非参数目标分布。我们通过正则化的视角探讨如何为 GANs 获得有效的统计保证。在非参数一端，我们推导了在对抗框架下分布估计的最优极小极大速率。在参数一端，我们建立了一套针对一般神经网络类（包括深度带泄漏 ReLU 网络）的理论，刻画了生成器与判别器对选择之间的相互作用。我们发现并分离出一种称为生成器-判别器对正则化的新正则化概念，它揭示了 GANs 相对于经典参数与非参数显式分布估计方法的优势。我们发展了新颖的预言不等式作为分析 GANs 的主要技术工具，其本身具有独立意义。