从多视图几何学习神经辐射场
计算机视觉与模式识别
2022-10-25 v1
摘要
我们提出了一个称为 MVG-NeRF 的框架，它结合了经典的多视图几何算法与神经辐射场（NeRF）用于基于图像的 3D 重建。NeRF 因其可微体积渲染公式能够实现高质量且几何感知的新视角合成，从而革新了隐式 3D 表示领域。然而，场景的底层几何在训练期间未被显式约束，从而在使用移动立方体提取网格时导致噪声与错误结果。为此，我们提议利用来自经典 3D 重建流程的逐像素深度与法线作为几何先验来引导 NeRF 优化。此类先验在训练期间用作伪真值，以改善所估计底层表面的质量。此外，基于前后向重投影误差，每个像素由置信度值加权以获得额外鲁棒性。在真实世界数据上的实验结果表明，该方法在从图像获取干净 3D 网格的同时，能保持具有竞争力的新视角合成性能。
引用
@article{arxiv.2210.13041,
title = {Learning Neural Radiance Fields from Multi-View Geometry},
author = {Marco Orsingher and Paolo Zani and Paolo Medici and Massimo Bertozzi},
journal= {arXiv preprint arXiv:2210.13041},
year = {2022}
}
备注
ECCV 2022 Workshop on "Learning to Generate 3D Shapes and Scenes"