ViCA-NeRF: 视图一致性感知的神经辐射场三维编辑
计算机视觉与模式识别
2024-02-02 v1
摘要
我们引入ViCA-NeRF，第一种用于文本指令三维编辑的视图一致性感知方法。除了隐式神经辐射场（NeRF）建模外，我们的关键洞察是利用两种正则化来源，显式地将编辑信息传播到不同视图，从而确保多视图一致性。对于几何正则化，我们利用从NeRF导出的深度信息建立不同视图之间的图像对应关系。对于学习正则化，我们在2D扩散模型中对齐编辑和未编辑图像之间的潜在编码，使我们能够编辑关键视图并将更新传播到整个场景。结合这两种策略，我们的ViCA-NeRF分两个阶段运行。在初始阶段，我们混合来自不同视图的编辑以创建初步的3D编辑。随后是第二阶段的NeRF训练，专门用于进一步细化场景外观。实验结果表明，与最先进方法相比，ViCA-NeRF提供了更灵活、更高效（快3倍）的编辑，具有更高的一致性和细节。我们的代码已公开。
引用
@article{arxiv.2402.00864,
title = {ViCA-NeRF: View-Consistency-Aware 3D Editing of Neural Radiance Fields},
author = {Jiahua Dong and Yu-Xiong Wang},
journal= {arXiv preprint arXiv:2402.00864},
year = {2024}
}
备注
Neurips2023; project page: https://github.com/Dongjiahua/VICA-NeRF