SIGNeRF：面向神经辐射场的场景集成生成
计算机视觉与模式识别
2024-03-28 v2 图形学
摘要
图像扩散模型的进展最近显著提升了高质量图像的生成能力。与神经辐射场（NeRF）相结合，它们为三维生成开启了新的可能性。然而，大多数生成式三维方法以物体为中心，将其应用于编辑现有的照片级真实场景并非易事。我们提出了SIGNeRF，这是一种用于快速且可控的NeRF场景编辑和场景集成物体生成的新方法。一种新的生成式更新策略确保了编辑后图像之间的三维一致性，无需迭代优化。我们发现，深度条件扩散模型通过请求图像网格而非单一视图，天生具备生成三维一致性视图的能力。基于这些见解，我们引入了一张修改后图像的多视图参考表。我们的方法基于该参考表一致地更新图像集合，并一次性用新生成的图像集优化原始NeRF。通过利用图像扩散模型的深度条件机制，我们获得了对编辑空间位置的精细控制，并通过选定区域或外部网格强制执行形状引导。
引用
@article{arxiv.2401.01647,
title = {SIGNeRF: Scene Integrated Generation for Neural Radiance Fields},
author = {Jan-Niklas Dihlmann and Andreas Engelhardt and Hendrik Lensch},
journal= {arXiv preprint arXiv:2401.01647},
year = {2024}
}
备注
Project Page: https://signerf.jdihlmann.com