Obj-NeRF:从多视图图像提取物体 NeRF
计算机视觉与模式识别
2023-11-28 v1
摘要
神经辐射场(NeRFs)在 3D 环境的新视角合成中展现出卓越效果。然而,由于遮挡与背景复杂性,从多视图图像提取某一特定物体的辐射场面临重大挑战,从而给 NeRF 编辑与 3D 网格提取等下游应用带来困难。为解决此问题,本文提出 Obj-NeRF,一种利用单一提示从多视图图像恢复特定物体 3D 几何的综合流程。该方法结合 Segment Anything Model (SAM) 的 2D 分割能力与 NeRF 的 3D 重建能力。具体而言,我们首先使用带单一提示的 SAM 获得指示物体的多视图分割。随后,利用分割图像监督 NeRF 构建,并集成若干有效技术。此外,我们构建了包含多样物体的大型物体级 NeRF 数据集,可服务于各类下游任务。为展示方法实用性,我们还将 Obj-NeRF 应用于物体移除、旋转、替换与重新着色等多种应用。
引用
@article{arxiv.2311.15291,
title = {Obj-NeRF: Extract Object NeRFs from Multi-view Images},
author = {Zhiyi Li and Lihe Ding and Tianfan Xue},
journal= {arXiv preprint arXiv:2311.15291},
year = {2023}
}