DATENeRF：基于深度感知的 NeRF 文本驱动编辑
计算机视觉与模式识别
2024-08-02 v2
摘要
扩散模型的最新进展展现了基于文本提示编辑 2D 图像的卓越能力。然而，将这些技术扩展到神经辐射场（NeRF）中的场景编辑十分复杂，因为编辑单个 2D 帧可能会导致多个视角间的不一致。我们的关键洞察是，NeRF 场景的几何结构可以作为整合这些 2D 编辑的桥梁。利用这一几何结构，我们采用深度条件 ControlNet 来增强每次 2D 图像修改的一致性。此外，我们引入了一种利用 NeRF 场景深度信息的图像修复方法，将 2D 编辑分布到不同图像中，确保对错误和重采样挑战的鲁棒性。我们的结果表明，与现有的文本驱动 NeRF 场景编辑领先方法相比，该方法实现了更一致、更逼真且更细致的编辑。
引用
@article{arxiv.2404.04526,
title = {DATENeRF: Depth-Aware Text-based Editing of NeRFs},
author = {Sara Rojas and Julien Philip and Kai Zhang and Sai Bi and Fujun Luan and Bernard Ghanem and Kalyan Sunkavall},
journal= {arXiv preprint arXiv:2404.04526},
year = {2024}
}
备注
3D Scene Editing, Neural Rendering, Diffusion Models, Accepted to ECCV24