NeuralMVS：连接多视图立体与新颖视图合成
计算机视觉与模式识别
2022-06-16 v2
摘要
多视图立体（MVS）是三维计算机视觉中的核心任务。随着深度学习方法的兴起，基于学习的 MVS 已超越经典方法的精度，但仍依赖于构建内存密集的稠密代价体。新颖视图合成（NVS）是一条并行研究方向，近年来随着神经辐射场（NeRF）模型的流行而受到更多关注，NeRF 针对每个场景优化辐射场。然而，NeRF 方法无法泛化到新场景，且训练与测试速度慢。我们提出通过一种新颖网络弥合这两种方法之间的差距，该网络可将三维场景几何恢复为距离函数，并生成高分辨率彩色图像。我们的方法仅以稀疏图像集作为输入，且能很好地泛化到新场景。此外，我们提出一种由粗到细的球体追踪方法以显著提升速度。我们在多个数据集上表明，我们的方法达到了与逐场景优化方法相当的精度，同时能够泛化且运行速度显著更快。我们在 https://github.com/AIS-Bonn/neural_mvs 提供源代码。
引用
@article{arxiv.2108.03880,
title = {NeuralMVS: Bridging Multi-View Stereo and Novel View Synthesis},
author = {Radu Alexandru Rosu and Sven Behnke},
journal= {arXiv preprint arXiv:2108.03880},
year = {2022}
}
备注
Accepted for International Joint Conference on Neural Networks (IJCNN) 2022. Code available at https://github.com/AIS-Bonn/neural_mvs