基于解耦实例网格重建的点云场景理解

从点云进行语义场景重建是三维场景理解中一项基础且具有挑战性的任务。该任务不仅要求识别场景中的每个实例，还要基于部分观测的点云恢复其几何形状。现有方法通常尝试从基于检测的骨干网络得到的不完整点云提议直接预测完整物体的占据值。然而，由于各种检测到的假阳性物体提议的干扰以及不完整点观测对学习完整物体占据值的模糊性，该框架始终无法重建高保真网格。为克服这一障碍，我们提出一种解耦实例网格重建（DIMR）框架以实现有效的点云场景理解。我们采用基于分割的骨干网络以减少假阳性物体提议，这进一步有助于我们探索识别与重建之间的关系。基于准确的提议，我们利用网格感知隐码空间解耦形状补全与网格生成过程，缓解不完整点观测引起的模糊性。此外，在测试时可访问CAD模型库的情况下，我们的模型也可通过执行网格检索而无需额外训练来提升重建质量。我们使用多种指标全面评估重建网格质量，并在具有挑战性的ScanNet数据集上证明了方法的优越性。代码见 \url{https://github.com/ashawkey/dimr}。