面纱之后：基于遮挡表面补全的增强型室内 3D 场景重建
计算机视觉与模式识别
2024-04-05 v1
摘要
本文提出了一种具有遮挡表面补全功能的新型室内 3D 重建方法，其输入为深度读数序列。现有最先进（SOTA）方法仅关注场景中可见区域的重建，忽略了因遮挡而不可见的区域，例如家具之间的接触面、被遮挡的墙壁和地板。我们的方法致力于补全被遮挡的场景表面，最终生成完整的 3D 场景网格。该方法的核心思想是从各种完整场景中学习 3D 几何先验，以仅凭深度测量推断未见场景的被遮挡几何。我们设计了一种粗-细层次八叉树表示，结合双解码器架构（即 Geo-decoder 和 3D Inpainter），二者联合重建完整的 3D 场景几何。在精细层级具有详细表示的 Geo-decoder 针对每个场景进行在线优化，以重建可见表面。在粗糙层级具有抽象表示的 3D Inpainter 使用各种场景进行离线训练，以补全被遮挡表面。因此，Geo-decoder 专用于单个场景，而 3D Inpainter 可泛化应用于不同场景。我们在 3D Completed Room Scene (3D-CRS) 和 iTHOR 数据集上评估了所提方法，在 3D 重建完整度方面分别显著超越 SOTA 方法 16.8% 和 24.2%。项目网页提供了包含每个场景完整 3D 网格的 3D-CRS 数据集。
引用
@article{arxiv.2404.03070,
title = {Behind the Veil: Enhanced Indoor 3D Scene Reconstruction with Occluded Surfaces Completion},
author = {Su Sun and Cheng Zhao and Yuliang Guo and Ruoyu Wang and Xinyu Huang and Yingjie Victor Chen and Liu Ren},
journal= {arXiv preprint arXiv:2404.03070},
year = {2024}
}