通过对比判别器以更强增强训练 GAN

生成对抗网络（GANs）的近期工作正在重新检视各种数据增强技术，将其作为防止判别器过拟合的有效手段。然而，哪些增强真正能改进 GAN，特别是如何在大训练中使用更广范围的增强，仍不明确。在本文中，我们提出一种新方法，通过将近期对比表示学习方案融入 GAN 判别器（称为 ContraD）来解决这些问题。这种“融合”使判别器能够处理强得多的增强而不增加训练不稳定性，从而更有效地防止 GAN 中的判别器过拟合。更好的是，我们观察到对比学习本身也从我们的 GAN 训练中受益，即通过保持真实与生成样本间的判别性特征，表明两个领域间存在强一致性：好的对比表示也对 GAN 判别器有益，反之亦然。我们的实验结果表明，与其他近期结合数据增强的技术相比，带 ContraD 的 GAN 在 FID 与 IS 上持续取得改进，同时在线性评估意义上于判别器中保持高度判别性特征。最后，作为副产品，我们还展示了我们以无监督方式（无标签）训练的 GAN 可通过简单潜变量采样诱导出许多条件生成模型，利用 ContraD 所学特征。代码见 https://github.com/jh-jeong/ContraD。