基于 Earth Mover's Distance 的深度引导 NeRF 训练

NeRF 被训练以最小化预测视点的渲染损失。然而，光度损失通常无法提供足够的信息来消除产生相同图像的不同可能几何结构之间的歧义。因此，先前的工作在 NeRF 训练期间引入了深度监督，利用预训练深度网络的密集预测作为伪真值。虽然这些深度先验在滤除噪声后被假定为完美的，但在实践中，其准确性更难捕捉。这项工作提出了一种新的方法来处理 NeRF 监督中深度先验的不确定性。我们不使用定制训练的深度或不确定性先验，而是使用现成的预训练扩散模型来预测深度，并在去噪过程中捕捉不确定性。因为我们知道深度先验容易出现误差，我们提出使用 Earth Mover's Distance 来监督光线终止距离分布，而不是通过 L2 损失强制渲染深度完全复现深度先验。我们的深度引导 NeRF 在标准深度指标上以大幅优势优于所有基线，同时在光度指标上保持性能。