场景布局的端到端优化
计算机视觉与模式识别
2020-07-24 v1
摘要
我们提出一种基于场景图条件化的场景布局合成端到端变分生成模型。与无条件场景布局生成不同，我们使用场景图作为抽象但通用的表示来引导满足场景图中包含关系的多样化场景布局合成。这带来对合成过程更灵活的控制，允许各种形式的输入，例如从句子提取或单张彩色图像推断出的场景布局。使用我们的条件布局合成器，我们可以生成与输入示例具有相同结构的各种布局。除该条件生成设计外，我们还集成一个可微渲染模块，使得仅使用场景的 2D 投影即可进行布局优化。给定深度图和语义图，可微渲染模块能够以分析-综合（analysis-by-synthesis）方式优化合成布局以拟合给定输入。实验表明，我们的模型在条件场景合成中实现更高的准确性与多样性，并允许基于示例从多种输入形式进行场景生成。
引用
@article{arxiv.2007.11744,
title = {End-to-End Optimization of Scene Layout},
author = {Andrew Luo and Zhoutong Zhang and Jiajun Wu and Joshua B. Tenenbaum},
journal= {arXiv preprint arXiv:2007.11744},
year = {2020}
}
备注
CVPR 2020 (Oral). Project page: http://3dsln.csail.mit.edu/