语义瓶颈场景生成
机器学习
2019-11-27 v1 计算机视觉与模式识别
机器学习
摘要
我们将标签条件图像合成方法的高保真生成能力与无条件生成模型的灵活性相结合，提出一种用于复杂场景无条件合成的语义瓶颈GAN模型。我们假设训练期间可用像素级分割标签，并利用它们学习场景结构。在推理时，我们的模型首先从零合成真实分割布局，然后基于该布局合成真实场景。对于前者，我们使用捕获真实语义场景布局分布的无条件渐进式分割生成网络；对于后者，我们使用捕获以语义布局为条件的照片真实图像分布的条件分割到图像合成网络。端到端训练后，该模型在Frechet Inception Distance与用户研究评估方面，在两个具有挑战性的领域上优于最先进（SOTA）生成模型的无监督图像合成。此外，我们证明生成的分割图可用作额外训练数据，显著改进近期的分割到图像合成网络。
引用
@article{arxiv.1911.11357,
title = {Semantic Bottleneck Scene Generation},
author = {Samaneh Azadi and Michael Tschannen and Eric Tzeng and Sylvain Gelly and Trevor Darrell and Mario Lucic},
journal= {arXiv preprint arXiv:1911.11357},
year = {2019}
}