对象实例的上下文感知合成与放置
计算机视觉与模式识别
2018-12-10 v2
摘要
学习以语义连贯的方式将对象实例插入图像是一个具有挑战性且有趣的问题。解决该问题需要 (a) 确定在场景中放置对象的位置，以及 (b) 确定该位置处对象的外观。此类对象插入模型有潜力促进众多图像编辑与场景解析应用。本文中，我们提出一个端到端可训练的神经网络，用于将给定的类别对象实例掩码插入图像的语义标签图的任务。我们的网络由两个生成模块组成，其中一个确定插入的对象掩码应位于何处（即位置与尺度），另一个确定对象掩码形状（与姿态）应呈现为何种样子。两个模块通过空间变换网络相连并联合训练。我们设计了一种利用有监督与无监督数据的学习流程，并展示我们的模型能在多样位置以各种外观插入对象。我们进行了大量实验验证并与强基线比较，以验证所提网络的有效性。
引用
@article{arxiv.1812.02350,
title = {Context-Aware Synthesis and Placement of Object Instances},
author = {Donghoon Lee and Sifei Liu and Jinwei Gu and Ming-Yu Liu and Ming-Hsuan Yang and Jan Kautz},
journal= {arXiv preprint arXiv:1812.02350},
year = {2018}
}