SceneCAD：在 RGB-D 扫描中预测物体对齐与布局
计算机视觉与模式识别
2020-03-31 v1
摘要
我们提出了一种新颖的方法，利用消费级 RGB-D 传感器重建扫描得到的 3D 环境的轻量级、基于 CAD 的表示。我们的核心思想是联合优化 CAD 模型对齐以及扫描场景的布局估计，显式建模物体到物体与物体到布局之间的相互关系。由于物体排布与场景布局本质上耦合，我们表明联合处理该问题显著有助于生成全局一致的场景表示。物体 CAD 模型通过建立几何之间的稠密对应关系对齐到场景中，我们引入一种分层布局预测方法，从场景的角点与边缘估计布局平面。为此，我们提出一种消息传递图神经网络来建模物体与布局之间的相互关系，引导场景中全局物体对齐的生成。通过考虑全局场景布局，我们相比最先进的方法实现了显著改进的 CAD 对齐，在 SUNCG 上对齐准确率从 41.83% 提升至 58.41%，在 ScanNet 上从 50.05% 提升至 61.24%。所得的基于 CAD 的表示使我们的方法非常适用于增强现实或虚拟现实等内容创作应用。
引用
@article{arxiv.2003.12622,
title = {SceneCAD: Predicting Object Alignments and Layouts in RGB-D Scans},
author = {Armen Avetisyan and Tatiana Khanova and Christopher Choy and Denver Dash and Angela Dai and Matthias Nießner},
journal= {arXiv preprint arXiv:2003.12622},
year = {2020}
}
备注
Video here https://youtu.be/F0DpggYByh0