Scene Designer：一种基于草图进行场景检索与合成的统一模型
计算机视觉与模式识别
2021-08-18 v1
摘要
Scene Designer 是一种利用场景组合的自由手绘草图（即同时描述物体外观与相对位置的绘图）来检索与生成图像的新方法。我们的核心贡献是一个单一统一模型，用于学习将草图组合匹配到图像上的跨模态检索嵌入，以及用于布局合成的物体嵌入。我们表明，在我们新颖的对比学习设定下，图神经网络（GNN）后接 Transformer 是必需的，以允许学习物体类型、外观与排布之间的关联，驱动一个掩码生成模块来合成连贯的场景布局，同时也提供最先进的基于草图的场景视觉检索。
引用
@article{arxiv.2108.07353,
title = {Scene Designer: a Unified Model for Scene Search and Synthesis from Sketch},
author = {Leo Sampaio Ferraz Ribeiro and Tu Bui and John Collomosse and Moacir Ponti},
journal= {arXiv preprint arXiv:2108.07353},
year = {2021}
}
备注
Accepted to the 1st Workshop on Sketching for Human Expressivity (SHE), at ICCV 2021