从场景图和自注意力生成3D场景
计算机视觉与模式识别
2024-04-25 v3
摘要
以可控方式合成逼真且多样化的室内3D场景布局为模拟导航和虚拟现实带来了应用。作为场景的简洁且鲁棒的表示，场景图已被证明非常适合作为生成布局的语义控制。我们提出了一种条件变分自编码器（cVAE）模型的变体，用于从场景图和平面图合成3D场景。我们利用自注意力层的属性来捕获场景中对象之间的高级关系，并将其用作我们模型的构建块。我们的模型利用图变换器来估计房间中对象的尺寸、维度和方向，同时满足给定场景图中的关系。我们的实验表明，自注意力层导致更稀疏（与Graphto3D相比稀疏7.9倍）和更多样化（16%）的场景。
引用
@article{arxiv.2404.01887,
title = {3D scene generation from scene graphs and self-attention},
author = {Pietro Bonazzi and Mengqi Wang and Diego Martin Arroyo and Fabian Manhardt and Nico Messikomer and Federico Tombari and Davide Scaramuzza},
journal= {arXiv preprint arXiv:2404.01887},
year = {2024}
}
备注
Some authors were not timely informed of the submission