SCADE：利用歧义感知深度估计从空间雕刻得到 NeRF
计算机视觉与模式识别
2023-03-27 v1
摘要
神经辐射场（NeRFs）已实现从多个 2D 输入视角进行高保真 3D 重建。然而，NeRFs 一个众所周知的缺陷是在少量视角下性能不理想，原因在于体渲染施加的约束不足。为解决此问题，我们提出 SCADE，一种新颖的技术，可改善针对野外室内场景的稀疏、无约束输入视角的 NeRF 重建质量。为约束 NeRF 重建，我们利用最先进单目深度估计模型生成的每视角深度估计形式的几何先验，其可跨场景泛化。一个关键挑战是单目深度估计是病态问题，具有固有歧义。为处理该问题，我们提出一种新方法，使用条件隐式最大似然估计（cIMLE）学习预测每视角深度估计的连续多模态分布。为利用多视角消歧，我们引入一种原创的空间雕刻损失，引导 NeRF 表示融合来自每视角的多个假设深度图，并从中提炼出与所有视角一致的共同几何。实验表明，我们的方法能从稀疏视角实现更高保真的新视角合成。项目页面见 https://scade-spacecarving-nerfs.github.io 。
引用
@article{arxiv.2303.13582,
title = {SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates},
author = {Mikaela Angelina Uy and Ricardo Martin-Brualla and Leonidas Guibas and Ke Li},
journal= {arXiv preprint arXiv:2303.13582},
year = {2023}
}
备注
CVPR 2023