RePaint-NeRF：基于语义掩码与扩散模型的NeRF编辑
计算机视觉与模式识别
2023-12-11 v2 人工智能
图形学
摘要
神经辐射场（NeRF）的出现促进了复杂真实世界合成高保真视图的发展。然而，对NeRF中的内容重绘仍是一项高要求任务。本文提出一种以RGB图像为输入并改变神经场景中三维内容的新框架。我们的工作利用现有扩散模型引导指定三维内容的改变。具体而言，我们语义地选择目标对象，预训练扩散模型将引导NeRF模型生成新三维对象，从而提升NeRF的可编辑性、多样性与应用范围。实验结果表明，我们的算法在不同文本提示下对NeRF中三维对象编辑有效，包括编辑外观、形状等。我们在真实世界数据集与合成世界数据集上验证了该方法用于这些编辑任务。请访问 https://starstesla.github.io/repaintnerf 以更好地查看我们的结果。
引用
@article{arxiv.2306.05668,
title = {RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models},
author = {Xingchen Zhou and Ying He and F. Richard Yu and Jianqiang Li and You Li},
journal= {arXiv preprint arXiv:2306.05668},
year = {2023}
}
备注
IJCAI 2023 Accepted (Main Track)