形状与上下文:野外图像合成与操控
计算机视觉与模式识别
2019-06-12 v1
摘要
我们提出了一种数据驱动的方法,用于从语义标签图交互式地合成野外图像。我们的方法与近期该领域的工作截然不同,因为我们不使用任何学习。相反,我们的方法使用简单但经典的工具,将场景上下文、形状和部件与存储的示例库进行匹配。尽管简单,该方法相比近期工作具有若干显著优势:(1) 由于无需学习,它不受特定训练数据分布(如城市景观、建筑立面或人脸)的限制;(2) 它可以合成任意高分辨率的图像,仅受示例库分辨率的限制;(3) 通过适当地组合形状和部件,它可以生成数量呈指数级增长的可行候选输出图像集合(例如,可供用户交互式搜索)。我们在多样化的 COCO 数据集上展示了结果,在标准图像合成指标上显著优于基于学习的方法。最后,我们探索了用户交互与用户可控性,证明我们的系统可用作用户驱动内容创作的平台。
引用
@article{arxiv.1906.04728,
title = {Shapes and Context: In-the-Wild Image Synthesis & Manipulation},
author = {Aayush Bansal and Yaser Sheikh and Deva Ramanan},
journal= {arXiv preprint arXiv:1906.04728},
year = {2019}
}
备注
Project Page: http://www.cs.cmu.edu/~aayushb/OpenShapes/