NeRFVS：基于几何 scaffold 的自由视角合成神经辐射场

我们提出NeRFVS，一种基于神经辐射场（NeRF）的新颖方法，以实现房间内的自由漫游。NeRF在渲染与输入视角相近的新视角图像时表现优异，但在与训练视角差异显著的新视角上表现不佳。为解决此问题，我们利用来自神经重建的整体先验（包括伪深度图与视角覆盖信息）来引导室内3D场景隐式神经表示的学习。具体而言，借助现成的神经重建方法生成几何scaffold。随后，提出基于整体先验的两个损失函数以改进NeRF学习：1）可容忍伪深度图误差的鲁棒深度损失，用以引导NeRF的几何学习；2）方差损失，用于正则化隐式神经表示的方差，从而减轻学习过程中的几何与颜色歧义。这两个损失函数根据视角覆盖信息在NeRF优化过程中被调制，以降低视角覆盖不平衡带来的负面影响。大量结果表明，我们的NeRFVS在室内场景上定量与定性均优于最先进的视角合成方法，实现了高保真自由漫游结果。