基于曼哈顿世界假设的神经3D场景重建
计算机视觉与模式识别
2022-05-19 v2
摘要
本文解决从多视角图像重建3D室内场景的挑战。许多先前工作在带纹理物体上展示了令人印象深刻的重建结果，但它们仍难以处理低纹理平面区域，这在室内场景中很常见。解决此问题的一个方法是在基于多视图立体的方法中将平面约束纳入深度图估计，但逐视图平面估计和深度优化既缺乏效率也缺乏多视图一致性。在本工作中，我们展示平面约束可便捷地集成到近期基于隐式神经表示的重建方法中。具体而言，我们使用一个MLP网络表示有符号距离函数作为场景几何。基于曼哈顿世界假设，采用平面约束正则化由2D语义分割网络预测的地板和墙壁区域中的几何。为解决不准确的分割，我们用另一个MLP编码3D点的语义，并设计一种在3D空间中联合优化场景几何与语义的新损失。在ScanNet和7-Scenes数据集上的实验表明，所提方法在3D重建质量上大幅优于先前方法。代码可在 https://zju3dv.github.io/manhattan_sdf 获取。
引用
@article{arxiv.2205.02836,
title = {Neural 3D Scene Reconstruction with the Manhattan-world Assumption},
author = {Haoyu Guo and Sida Peng and Haotong Lin and Qianqian Wang and Guofeng Zhang and Hujun Bao and Xiaowei Zhou},
journal= {arXiv preprint arXiv:2205.02836},
year = {2022}
}
备注
CVPR 2022 Oral. Project page: https://zju3dv.github.io/manhattan_sdf