面向稀疏输入视角的深度引导鲁棒快速点云融合 NeRF
计算机视觉与模式识别
2024-03-05 v1
摘要
使用稀疏输入视角的新视角合成对于 AR/VR 和自动驾驶等现实世界应用非常重要。最近的方法将深度信息整合到 NeRF 中以进行稀疏输入合成，利用深度先验进行几何和空间理解。然而，大多数现有工作往往忽略深度图中的不准确性，并且时间效率较低。为了解决这些问题，我们提出了一种面向稀疏输入的深度引导鲁棒快速点云融合 NeRF。我们将辐射场视为显式的体素特征网格。为每个输入视角构建一个点云，并使用矩阵和向量在体素网格内对其进行特征化。我们累积每个输入视角的点云以构建整个场景的融合点云。每个体素通过参考整个场景的点云来确定其密度和外观。通过点云融合和体素网格微调，深度值中的不准确性被其他视角的深度值修正或替代。此外，我们的方法可以通过有效的向量-矩阵分解实现更快的重建和更高的紧凑性。实验结果突显了与最先进的基线方法相比，我们方法的优越性能和时间效率。
引用
@article{arxiv.2403.02063,
title = {Depth-Guided Robust and Fast Point Cloud Fusion NeRF for Sparse Input Views},
author = {Shuai Guo and Qiuwen Wang and Yijie Gao and Rong Xie and Li Song},
journal= {arXiv preprint arXiv:2403.02063},
year = {2024}
}