BachGAN:从显著目标布局的高分辨率图像合成
计算机视觉与模式识别
2020-03-31 v2
摘要
我们提出了一项面向更实际应用的新任务——从显著目标布局的高质量图像合成。这一新设定允许用户仅提供显著目标的布局(即前景边界框和类别),并让模型以虚构的背景和匹配的前景完成绘制。此新任务带来两个主要挑战:(i)如何在无分割图输入的情况下生成细粒度细节和真实纹理;以及(ii)如何创建背景并将其无缝编织到独立目标中。为此,我们提出背景幻觉生成对抗网络(BachGAN),它首先通过背景检索模块从大型候选池中选取一组分割图,然后通过背景融合模块对这些候选布局进行编码,以对给定目标幻觉出合适的背景。通过动态生成幻觉背景表示,我们的模型能够合成具有照片级真实前景和完整背景的高分辨率图像。在Cityscapes和ADE20K数据集上的实验证明了BachGAN相对于现有方法的优势,这通过生成图像的视觉保真度以及输出图像与输入布局之间的视觉对齐来衡量。
引用
@article{arxiv.2003.11690,
title = {BachGAN: High-Resolution Image Synthesis from Salient Object Layout},
author = {Yandong Li and Yu Cheng and Zhe Gan and Licheng Yu and Liqiang Wang and Jingjing Liu},
journal= {arXiv preprint arXiv:2003.11690},
year = {2020}
}
备注
Accepted to CVPR 2020