一种用于 GAN 的凸对偶框架

生成对抗网络（GAN）是生成器（模仿真实模型）与判别器（区分生成器产生的样本与真实训练样本）之间的极小极大博弈。给定能够逼近任意函数的无约束判别器，该博弈可归约为寻找使某散度度量（如 Jensen-Shannon（JS）散度）对数据分布最小的生成模型。然而，在实践中判别器被约束于更小的类 $\mathcal{F}$（如神经网络）。于是，一个自然的问题是：当我们约束 $\mathcal{F}$ 时，散度最小化的解释如何改变。本工作中，我们通过发展一种用于分析 GAN 的凸对偶框架来解决此问题。对于凸集 $\mathcal{F}$，该对偶框架将原始 GAN 公式解释为：寻找与经惩罚以匹配数据分布矩（矩由 $\mathcal{F}$ 中判别器指定）的分布之间具有最小 JS 散度的生成模型。我们表明，这一解释更一般地适用于 f-GAN 和 Wasserstein GAN。作为副产品，我们将该对偶框架应用于 f-散度与 Wasserstein 距离的混合。与 f-散度不同，我们证明所提出的混合散度随生成模型连续变化，这提示在 f-GAN 和 vanilla GAN 中对判别器的 Lipschitz 常数进行正则化。我们数值评估了所建议的正则化方案在改善 GAN 训练性能方面的能力。