基于专家乘积 GAN 的多模态条件图像合成
计算机视觉与模式识别
2021-12-10 v1
摘要
现有的条件图像合成框架基于单一模态的用户输入（如文本、分割、草图或风格参考）生成图像。它们往往无法在可用时利用多模态用户输入，这降低了其实用性。为应对这一局限，我们提出专家乘积生成对抗网络（PoE-GAN）框架，该框架可基于多个输入模态或其任意子集（甚至空集）合成图像。PoE-GAN 由专家乘积生成器和多模态多尺度投影判别器组成。通过我们精心设计的训练方案，PoE-GAN 学会合成具有高质量和多样性的图像。除了在多模态条件图像合成方面推进了最先进水平，PoE-GAN 在单模态设定下测试时也优于现有最佳的单模态条件图像合成方法。项目网站见 https://deepimagination.github.io/PoE-GAN。
引用
@article{arxiv.2112.05130,
title = {Multimodal Conditional Image Synthesis with Product-of-Experts GANs},
author = {Xun Huang and Arun Mallya and Ting-Chun Wang and Ming-Yu Liu},
journal= {arXiv preprint arXiv:2112.05130},
year = {2021}
}