广义对抗学习推断

在训练 GAN 时允许对潜向量进行有效推断，可极大扩展其在各种下游任务中的适用性。近期的方法，如 ALI 和 BiGAN 框架，通过对图像生成器与编码器进行对抗训练以匹配图像和潜向量对的两个联合分布，发展了 GAN 中潜变量推断的方法。我们将这些方法推广以融入关于重建的多层反馈、自监督，以及基于关于期望解的先验或习得知识的其他形式监督。我们通过修改判别器的目标来实现这一点，使其正确识别由任意数量随机变量组成的元组的超过两个联合分布，这些变量包括图像、潜向量以及通过辅助任务（如重建和修复）或合适预训练模型输出生成的其它变量。我们为生成器-编码器对设计了非饱和最大化目标，并证明所得对抗博弈对应于同时匹配所有分布的全局最优。在我们提出的框架内，我们引入了一组基于补丁级对应和重建循环一致性等性质为模型提供自监督反馈的新技术。通过综合实验，我们展示了所提方法在多种任务上的有效性、可扩展性和灵活性。