Edit-DiffNeRF：使用2D扩散模型编辑3D神经辐射场
计算机视觉与模式识别
2023-06-19 v1
摘要
近期研究表明，将预训练扩散模型与神经辐射场（NeRFs）相结合已成为一种有前景的文本到3D生成方法。简单地将NeRF与扩散模型耦合会导致跨视角不一致和风格化视角合成的退化。为应对这一挑战，我们提出Edit-DiffNeRF框架，其由一个冻结的扩散模型、一个用于编辑扩散模型潜在语义空间的delta模块和一个NeRF组成。我们的方法不针对每个场景训练整个扩散模型，而是通过delta模块编辑冻结预训练扩散模型中的潜在语义空间。这一对标准扩散框架的根本改变使我们能够对渲染视角进行细粒度修改，并通过NeRF训练有效地将这些指令整合到3D场景中。结果，我们能够生成忠实对齐输入文本指令的已编辑3D场景。此外，为确保不同视角间的语义一致性，我们提出一种新颖的多视角语义一致性损失，其从输入视角提取潜在语义嵌入作为先验，并旨在在不同视角中重建它。我们提出的方法已被证明能有效编辑真实世界3D场景，与先前工作相比，所执行3D编辑与文本指令的对齐度提高了25%。
引用
@article{arxiv.2306.09551,
title = {Edit-DiffNeRF: Editing 3D Neural Radiance Fields using 2D Diffusion Model},
author = {Lu Yu and Wei Xiang and Kang Han},
journal= {arXiv preprint arXiv:2306.09551},
year = {2023}
}