Graph-to-3D：基于场景图端到端生成与操控三维场景
计算机视觉与模式识别
2021-08-20 v1
摘要
可控场景合成旨在生成满足底层规范的三维信息。为此，这些规范应当抽象（即允许简便的用户交互），同时为精细控制提供充足的接口。场景图是场景的表示，由物体（节点）和物体间关系（边）组成，已被证明特别适合该任务，因为它们允许对生成内容进行语义控制。解决该任务的先前工作常依赖合成数据，并检索物体网格，这自然限制了生成能力。为规避此问题，我们转而提出首个以端到端方式直接从场景图生成形状的工作。此外，我们展示同一模型支持场景修改，使用相应的场景图作为接口。借助图卷积网络（GCN），我们在物体与边类别以及三维形状和场景布局之上训练了一个变分自编码器，从而允许后续对新场景和形状进行采样。
引用
@article{arxiv.2108.08841,
title = {Graph-to-3D: End-to-End Generation and Manipulation of 3D Scenes Using Scene Graphs},
author = {Helisa Dhamo and Fabian Manhardt and Nassir Navab and Federico Tombari},
journal= {arXiv preprint arXiv:2108.08841},
year = {2021}
}
备注
accepted to ICCV 2021