InNeRF360：基于文本引导的360度神经辐射场三维一致物体修复
计算机视觉与模式识别
2024-03-27 v2
摘要
我们提出InNeRF360，一个从360度神经辐射场（NeRF）中准确移除文本指定物体的自动系统。其挑战在于有效移除物体的同时，为缺失区域修复感知一致的内容，这对于现有NeRF模型尤为困难，因其采用隐式体积表示。此外，与正面场景相比，无界场景在修复区域更容易出现漂浮伪影，因为物体外观与背景随视角的变化对不准确的分割和不一致的修复更为敏感。借助训练好的NeRF与文本描述，我们的方法高效移除指定物体并修复无伪影的视觉一致内容。我们应用深度空间扭曲来强制多视角文本编码分割间的一致性，随后利用感知先验和基于3D扩散的几何先验精炼修复后的NeRF模型以确保视觉合理性。通过在360度与正面NeRF上的分割与修复大量实验，我们表明该方法有效并增强了NeRF的可编辑性。项目主页：https://ivrl.github.io/InNeRF360。
引用
@article{arxiv.2305.15094,
title = {InNeRF360: Text-Guided 3D-Consistent Object Inpainting on 360-degree Neural Radiance Fields},
author = {Dongqing Wang and Tong Zhang and Alaa Abboud and Sabine Süsstrunk},
journal= {arXiv preprint arXiv:2305.15094},
year = {2024}
}
备注
CVPR 2024