去除神经射影场中的深度先验

神经射影场 (NeRF) 在 3D 重建和新视角生成方面取得了令人印象深刻的成果。在 NeRF 中处理编辑重建的 3D 场景（如对象删除）是一个重要挑战，这需要跨多个视角的一致性以及高质量视角的合成。以往的研究将深度先验（通常来自激光雷达或来自 COLMAP 的稀疏深度估计）集成到 NeRF 中，以提高其在对象删除中的性能。然而，这些方法要么昂贵，要么耗时。本文提出了一种新的管道，利用 SpinNeRF 和类似 ZoeDepth 的单目深度估计模型来提高 NeRF 在复杂对象删除中的效率。我们对 COLMAP 在 KITTI 数据集上稠密深度重建进行了全面评估，证明 COLMAP 可作为传统方法（如激光雷达）获取深度真实值的成本效益高且可扩展的替代方案。这为评估单目深度估计模型以确定为 SpinNeRF 生成深度先验的最佳模型提供了基础。该新管道在涉及 3D 重建和对象删除的各种场景中进行了测试，结果表明我们的管道显著减少了获取对象删除深度先验的时间，并提升了合成视角的保真度，表明在未来具有构建高保真度数字孪生系统的潜力。