基于参考图像引导的神经辐射场可控修复
计算机视觉与模式识别
2023-04-21 v2
摘要
神经辐射场（NeRFs）在视角合成中的流行引发了对 NeRF 编辑工具的需求。本文关注以视角一致且可控的方式修复区域。除典型的 NeRF 输入及在各视角中勾画不需要区域的掩码外，我们仅需场景的一张修复视图，即参考视图。我们利用单目深度估计器将修复视图反向投影到正确的三维位置。随后，通过一种新颖的渲染技术，一个双边求解器可在非参考视图中构建视角相关效果，使修复区域从任意视角看都保持一致。对于无法由单一参考视图监督的非参考遮挡区域，我们设计了一种基于图像修复器的方法来引导几何与外观。我们的方法在性能上优于 NeRF 修复基线，并具有额外优势：用户可通过单张修复图像控制所生成的场景。项目页面：https://ashmrz.github.io/reference-guided-3d
引用
@article{arxiv.2304.09677,
title = {Reference-guided Controllable Inpainting of Neural Radiance Fields},
author = {Ashkan Mirzaei and Tristan Aumentado-Armstrong and Marcus A. Brubaker and Jonathan Kelly and Alex Levinshtein and Konstantinos G. Derpanis and Igor Gilitschenski},
journal= {arXiv preprint arXiv:2304.09677},
year = {2023}
}
备注
Project Page: https://ashmrz.github.io/reference-guided-3d