超越散度最小化的 GAN

生成对抗网络（GANs）可解释为一个判别器 D 与生成器 G 两个玩家间的对抗博弈，其中 D 学习将真实数据与伪造数据分类，G 通过学习“欺骗” D 使其将伪造数据误认为真实数据来生成逼真数据。目前主流观点是，鉴于当 D 最优时总体目标函数为散度，G 实际上通过最小化某个散度来学习。然而，由于理论与实践的矛盾，该观点受到挑战。本文中，我们讨论与大多数 G 损失函数（如饱和/非饱和 f-GAN、LSGAN、WGAN 等）相关的性质。我们表明这些损失函数并非散度，且不具有散度所预期的相同均衡。这意味着 G 无需最小化与 D 最大化相同的目标函数，也无需在将真实数据替换为伪造数据后最大化 D 的目标（非饱和 GAN），而是可以使用广泛的可能损失函数来学习生成逼真数据。我们通过两个分离且独立的 D 最大化和 G 最小化步骤来定义 GANs。我们将生成器步骤推广到四类新的损失函数，其中大多数实为散度（而传统 G 损失函数不是）。我们在合成数据集和 CIFAR-10 上测试了这四类中多种多样的损失函数。我们观察到，无论使用散度还是非散度，大多数损失函数收敛良好，并提供与非饱和 GAN、LSGAN 和 WGAN-GP 生成器损失函数相当的数据生成质量。这些结果表明 GANs 与散度最小化理论并不吻合，且构成了比先前假设广泛得多的模型范围。