NerfingMVS：基于引导优化的神经辐射场用于室内多视图立体
计算机视觉与模式识别
2021-10-06 v3
摘要
在本工作中，我们提出了一种利用常规重建与基于学习的先验、并结合近期提出的神经辐射场（NeRF）的多视图深度估计新方法。不同于现有的依赖估计对应关系的神经网络优化方法，我们的方法直接对隐式体进行优化，消除了在室内场景中匹配像素这一困难步骤。我们方法的关键在于利用基于学习的先验来引导NeRF的优化过程。我们的系统首先通过在来自COLMAP的稀疏SfM+MVS重建上微调，使单目深度网络适配目标场景。然后，我们展示了NeRF的形状-辐射模糊在室内环境中依然存在，并提出通过采用适配的深度先验来监控体渲染的采样过程以解决该问题。最后，通过在渲染图像上计算误差获得的逐像素置信度图可用于进一步提升深度质量。实验表明，我们提出的框架在室内场景上显著优于最先进的方法，并就基于对应关系的优化与基于NeRF的优化在适配深度先验上的有效性给出了令人惊讶的发现。此外，我们展示了引导优化方案并未牺牲神经辐射场原有的合成能力，提升了在已见和新视角上的渲染质量。代码可在 https://github.com/weiyithu/NerfingMVS 获取。
引用
@article{arxiv.2109.01129,
title = {NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo},
author = {Yi Wei and Shaohui Liu and Yongming Rao and Wang Zhao and Jiwen Lu and Jie Zhou},
journal= {arXiv preprint arXiv:2109.01129},
year = {2021}
}
备注
To appear in ICCV 2021 (Oral). Project page: https://weiyithu.github.io/NerfingMVS/