神经RGB-D表面重建
计算机视觉与模式识别
2022-03-16 v3
摘要
获得房间尺度场景的高质量三维重建对于AR或VR中的 forthcoming 应用至关重要。这些应用涵盖从用于远程会议、虚拟测量、虚拟房间规划的混合现实应用，到机器人应用。虽然当前使用神经辐射场(NeRFs)的基于体素的视图合成方法在再现物体或场景外观方面显示出有前景的结果，但它们并未重建实际的表面。基于密度的表面体素表示在利用移动立方体(Marching Cubes)提取表面时会导致伪影，因为在优化过程中密度沿射线累积而非在单一采样点孤立使用。我们提议使用隐式函数（截断符号距离函数）来表示表面，而非这种表面的体素表示。我们展示了如何将该表示纳入NeRF框架，并将其扩展以使用来自如Kinect等商用RGB-D传感器的深度测量。此外，我们提出了一种位姿与相机优化技术，提升了整体重建质量。与同期将深度先验整合进NeRF且专注于新视角合成的工作不同，我们的方法能够重建高质量、具度量性的三维重建。
引用
@article{arxiv.2104.04532,
title = {Neural RGB-D Surface Reconstruction},
author = {Dejan Azinović and Ricardo Martin-Brualla and Dan B Goldman and Matthias Nießner and Justus Thies},
journal= {arXiv preprint arXiv:2104.04532},
year = {2022}
}
备注
CVPR'22; Project page: https://dazinovic.github.io/neural-rgbd-surface-reconstruction/ Video: https://youtu.be/iWuSowPsC3g