基于扩散模型的面向可见性的神经辐射场视角外推

我们提出了 ExtraNeRF，一种用于 extrapolate Neural Radiance Field（NeRF）处理范围的方法。我们的核心思想是利用 NeRF 模型场景特定的细粒度细节，同时利用扩散模型对超出观测数据的数据进行 extrapolate。一个关键要素是跟踪可见性，以确定哪些场景区域尚未被观察，并聚焦于与扩散模型一致地重构这些区域。我们的主要贡献包括一个面向可见性的扩散基于 inpainting 模块，经过输入图像微调，生成初始 NeRF（常呈现模糊）的 inpainted 区域，然后 followed by 一个在输入图像上训练的第二个扩散模型，用于一致性地增强，显著锐化，来自第一轮的 inpainted 图像。我们展示了高质量的结果，通过少量（通常为六个或更少）输入视角进行 extrapolate，有效地对 NeRF 进行 outpainting 以及对原始观测体积内新发现的 occluded 区域进行 inpainting。我们对比了相关工作，既定量又定性地评估，并在先前技术方面取得显著提升。