DivCo：基于对比生成对抗网络的多样条件图像合成
计算机视觉与模式识别
2021-04-27 v2
摘要
条件生成对抗网络（cGANs）旨在给定输入条件和潜码的情况下合成多样图像，但不幸的是，它们通常遭受模式崩溃问题。为解决此问题，先前的工作主要侧重于鼓励潜码与其生成图像之间的相关性，而忽略了由不同潜码生成的图像之间的关系。近期的 MSGAN 试图鼓励生成图像的多样性，但仅考虑了图像对之间的“负”关系。在本文中，我们提出一种新颖的 DivCo 框架，以适当地约束潜空间中所指定生成图像之间的“正”和“负”关系。据我们所知，这是首次尝试使用对比学习进行多样条件图像合成。引入了一种新颖的潜码增强对比损失，其鼓励由相邻潜码生成的图像相似，而由不同潜码生成的图像相异。所提出的潜码增强对比损失与各种 cGAN 架构良好兼容。大量实验表明，在多个非配对和配对图像生成任务中，所提出的 DivCo 能够在不牺牲视觉质量的前提下生成比最先进（SOTA）方法更多样化的图像。
引用
@article{arxiv.2103.07893,
title = {DivCo: Diverse Conditional Image Synthesis via Contrastive Generative Adversarial Network},
author = {Rui Liu and Yixiao Ge and Ching Lam Choi and Xiaogang Wang and Hongsheng Li},
journal= {arXiv preprint arXiv:2103.07893},
year = {2021}
}
备注
To appear at CVPR2021