NeRF-In：基于 RGB-D 先验的自由形式 NeRF 修复
计算机视觉与模式识别
2022-06-13 v1 图形学
摘要
尽管神经辐射场（Neural Radiance Field, NeRF）展现出引人注目的新视角合成结果，编辑一个预训练 NeRF 仍然不直观，因为神经网络的参数与场景几何/外观通常未显式关联。本文中，我们引入首个框架，使用户能够在无需任何类别特定数据与训练的情况下，移除预训练 NeRF 所表示的三维场景中不需要的物体或修饰不期望的区域。用户首先在预训练 NeRF 渲染出的视图上绘制自由形式掩码以指定包含不需要物体的区域。我们的框架首先将用户提供的掩码迁移至其他渲染视图，并在这些迁移掩码区域内估计引导颜色与深度图像。接着，我们构建一个优化问题，通过更新 NeRF 模型参数，联合修复多视图中所有掩码区域内的图像内容。我们在多样场景上演示了框架，并显示其在更短时间、更少人工操作下获得了跨多视图视觉合理且结构一致的结果。
引用
@article{arxiv.2206.04901,
title = {NeRF-In: Free-Form NeRF Inpainting with RGB-D Priors},
author = {Hao-Kang Liu and I-Chao Shen and Bing-Yu Chen},
journal= {arXiv preprint arXiv:2206.04901},
year = {2022}
}
备注
Hao-Kang Liu and I-Chao Shen contributed equally to the paper. Project page: https://jdily.github.io/proj_site/nerfin_proj.html