基于扩散先验的 NeRF 场景多视角 3D 填充
计算机视觉与模式识别
2024-05-07 v1
摘要
尽管已有成功的 NeRF 填充方法基于显式的 RGB 和深度 2D 填充监督，但这些方法受限于其底层 2D 填充器的能力。这源于两个关键原因：(i) 独立填充各个图像会导致视角不一致的图像；(ii) 2D 填充器难以确保与填充后的 RGB 图像高度一致的几何完成。为克服这些限制，我们提出一种新方法，称为 MVIP-NeRF，利用扩散先验进行 NeRF 填充，同时处理外观与几何问题。MVIP-NeRF 通过基于 Score Distillation Sampling（SDS）的迭代优化过程，在多个视角上进行联合填充，以获得一致解。除了恢复渲染的 RGB 图像外，我们还提取法线图作为几何表示，并定义法线 SDS 损失，以促进准确的几何填充并与外观对齐。此外，我们构建多视角 SDS 评分函数，同时从不同视角的图像中提取生成先验，确保在处理大范围视角变化时实现一致的视觉填充。我们的实验结果表明，MVIP-NeRF 在外观和几何恢复方面优于以前的 NeRF 填充方法。
引用
@article{arxiv.2405.02859,
title = {MVIP-NeRF: Multi-view 3D Inpainting on NeRF Scenes via Diffusion Prior},
author = {Honghua Chen and Chen Change Loy and Xingang Pan},
journal= {arXiv preprint arXiv:2405.02859},
year = {2024}
}
备注
14 pages, 10 figures, conference