定制你的NeRF：通过局部-全局迭代训练的自适应源驱动3D场景编辑
计算机视觉与模式识别
2023-12-05 v1 人工智能
摘要
在本文中，我们针对自适应源驱动的3D场景编辑任务，提出了CustomNeRF模型，该模型将文本描述或参考图像统一作为编辑提示。然而，获得符合编辑提示的期望编辑结果并非易事，因为存在两个重大挑战：仅对前景区域进行精确编辑，以及在给定单视图参考图像时保持多视图一致性。为应对第一个挑战，我们提出了一种局部-全局迭代编辑训练方案，该方案在前景区域编辑和全图编辑之间交替进行，旨在仅操作前景同时保留背景。针对第二个挑战，我们还设计了一种类引导正则化，利用生成模型中的类别先验来缓解图像驱动编辑中不同视图间的不一致问题。大量实验表明，我们的CustomNeRF在文本驱动和图像驱动设置下，均能在各种真实场景中产生精确的编辑结果。
引用
@article{arxiv.2312.01663,
title = {Customize your NeRF: Adaptive Source Driven 3D Scene Editing via Local-Global Iterative Training},
author = {Runze He and Shaofei Huang and Xuecheng Nie and Tianrui Hui and Luoqi Liu and Jiao Dai and Jizhong Han and Guanbin Li and Si Liu},
journal= {arXiv preprint arXiv:2312.01663},
year = {2023}
}
备注
14 pages, 13 figures, project website: https://customnerf.github.io/