解构生成对抗网络

我们将GANs的性能解构为三个组成部分：1. 形式化：我们提出GANs总体目标的扰动视角。基于该解释，我们表明GANs可视为鲁棒统计框架的推广，并提出一种称为级联GANs（Cascade GANs）的新GAN架构，在真实分布为高维且被离群值污染时，可证明地恢复有意义的低维生成器近似。2. 泛化：给定GANs的总体目标，我们设计了一个系统性原则——在容许距离下的投影，以利用有限样本设计满足总体要求的GANs。我们在三种情形下实现该原则，达到多项式且有时近最优的样本复杂度：（1）在任意伪范数下学习任意生成器；（2）在TV距离下学习高斯位置族，我们利用该原则为视作GANs的Tukey中位数最优性提供新证明；（3）在Wasserstein距离下学习高维任意分布的低维高斯近似。我们展示了GANs中近似误差与统计误差的基本权衡，并展示如何将该原则与经验样本结合，以预测GANs需要多少样本才不至于遭受判别器获胜问题。3. 优化：我们证明交替梯度下降在优化PCA的GAN形式化时，可证明地不是局部渐近稳定的。我们将该问题诊断为极小极大对偶间隙非零，并提出一种对偶间隙为零的新GAN架构，其中博弈值等于先前的极小极大值（而非极大极小值）。我们证明新GAN架构在交替梯度下降下优化时是全局渐近稳定的。