OR-NeRF：基于多视角分割与神经辐射场的三维场景物体移除
计算机视觉与模式识别
2023-10-02 v3
摘要
神经辐射场 (NeRF) 用于新视角合成的出现增加了对三维场景编辑的兴趣。编辑中的一项基本任务是从场景中移除物体，同时保证视觉合理性与多视角一致性。然而，现有方法面临诸如耗时的物体标注、移除特定目标能力有限、以及移除后渲染质量受损等挑战。本文提出一种新颖的物体移除流程，名为 OR-NeRF，可通过用户在单视角给出的点或文本提示从三维场景中移除物体，以比以往工作更短的时间取得更好性能。我们的方法通过三维几何与稀疏对应将用户标注传播至所有视角，以更少的处理负担确保三维一致性。随后应用近期二维分割模型 Segment-Anything (SAM) 预测掩码，并使用二维修复模型生成颜色监督。最后，我们的算法施加深度监督与感知损失以维持物体移除后几何与外观的一致性。实验结果表明，综合定性与定量考量，我们的方法比以往工作以更短时间取得更好的编辑质量。
引用
@article{arxiv.2305.10503,
title = {OR-NeRF: Object Removing from 3D Scenes Guided by Multiview Segmentation with Neural Radiance Fields},
author = {Youtan Yin and Zhoujie Fu and Fan Yang and Guosheng Lin},
journal= {arXiv preprint arXiv:2305.10503},
year = {2023}
}
备注
project site: https://ornerf.github.io/ (codes available)