Inpaint4DNeRF：基于生成扩散模型的可提示时空 NeRF 修复
计算机视觉与模式识别
2024-01-02 v1
摘要
当前的神经辐射场 (NeRF) 能够生成照片级真实感的新视角。针对编辑由 NeRF 表示的 3D 场景，随着生成模型的出现，本文提出了 Inpaint4DNeRF，旨在利用最先进的稳定扩散模型（例如 ControlNet）直接生成底层完整的背景内容，无论其是静态还是动态的。这种用于 NeRF 修复的生成式方法具有两大关键优势。首先，在粗略掩膜传播之后，为了补全或填充先前被遮挡的内容，我们可以单独生成一小部分具有合理内容的完整图像（称为种子图像），并从中推导出简单的 3D 几何代理。其次，剩余的问题在于所有完整图像之间的 3D 多视图一致性，现在由种子图像及其 3D 代理进行引导。无需其他额外技巧，我们的生成式 Inpaint4DNeRF 基线框架具有通用性，可轻松扩展至 4D 动态 NeRF，其中时间一致性可以以与我们处理多视图一致性类似的方式自然处理。
引用
@article{arxiv.2401.00208,
title = {Inpaint4DNeRF: Promptable Spatio-Temporal NeRF Inpainting with Generative Diffusion Models},
author = {Han Jiang and Haosen Sun and Ruoxuan Li and Chi-Keung Tang and Yu-Wing Tai},
journal= {arXiv preprint arXiv:2401.00208},
year = {2024}
}