用 OCO-GAN 统一条件与无条件语义图像合成
计算机视觉与模式识别
2022-11-28 v1
摘要
生成式图像模型近年被广泛研究。在无条件设定下,其从无标签图像建模边际分布。为获得更多控制,图像合成可以语义分割图为条件,指示生成器图像中物体位置。尽管这两类任务密切相关,通常却被孤立研究。我们提出 OCO-GAN(Optionally COnditioned GAN,可选条件 GAN),以统一方式解决两任务,采用共享的图像合成网络,既可受语义图条件约束,也可直接受隐变量约束。通过端到端对抗训练与共享判别器,我们得以利用两任务间的协同。我们在 Cityscapes、COCO-Stuff、ADE20K 数据集上于有限数据、半监督与全数据三种设定下实验,取得优异性能,在所有设定中均优于现有可生成带与不带条件图像的混合模型。此外,我们的结果具竞争力或优于最先进的专用无条件与有条件模型。
引用
@article{arxiv.2211.14105,
title = {Unifying conditional and unconditional semantic image synthesis with OCO-GAN},
author = {Marlène Careil and Stéphane Lathuilière and Camille Couprie and Jakob Verbeek},
journal= {arXiv preprint arXiv:2211.14105},
year = {2022}
}