MVSNeRF：基于多视图立体视觉的快速可泛化辐射场重建
计算机视觉与模式识别
2021-08-25 v2
摘要
我们提出 MVSNeRF，一种新颖的神经渲染方法，能够高效地重建用于视图合成的神经辐射场。与先前关于神经辐射场的工作在密集采集图像上考虑逐场景优化不同，我们提出了一种通用的深度神经网络，可通过快速网络推理仅从三个邻近输入视图重建辐射场。我们的方法利用平面扫描代价体（广泛用于多视图立体视觉）进行几何感知的场景推理，并将其与基于物理的体积渲染相结合以重建神经辐射场。我们在 DTU 数据集上的真实物体上训练网络，并在三个不同数据集上测试以评估其有效性和可泛化性。我们的方法能够跨场景泛化（即使是室内场景，与我们的物体训练场景完全不同），且仅使用三张输入图像即可生成逼真的视图合成结果，显著优于同期关于可泛化辐射场重建的工作。此外，若采集了密集图像，我们估计的辐射场表示可轻松微调；这带来了快速的逐场景重建，具有更高的渲染质量，且比 NeRF 的优化时间大幅减少。
引用
@article{arxiv.2103.15595,
title = {MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo},
author = {Anpei Chen and Zexiang Xu and Fuqiang Zhao and Xiaoshuai Zhang and Fanbo Xiang and Jingyi Yu and Hao Su},
journal= {arXiv preprint arXiv:2103.15595},
year = {2021}
}
备注
Project Page: https://apchenstu.github.io/mvsnerf/ Code:https://github.com/apchenstu/mvsnerf