Blended-NeRF：在已有神经辐射场中的零样本物体生成与融合

在由 NeRF 表示的 3D 场景中编辑局部区域或特定物体，或将一个新的逼真物体一致地融合进场景，是一项具有挑战性的任务，这主要源于场景表示的隐式特性。我们提出 Blended-NeRF，一个鲁棒且灵活的框架，用于基于文本提示和 3D ROI 框，在已有 NeRF 场景中对特定感兴趣区域进行编辑。我们的方法利用预训练的语言-图像模型将合成过程引导至用户提供的文本提示，并基于已有 NeRF 场景初始化的 3D MLP 模型来生成物体并将其融合到原始场景的指定区域中。我们通过在输入场景中定位 3D ROI 框来实现局部编辑，并使用一种新颖的体积融合技术将 ROI 内合成的内容与已有场景相融合。为获得自然外观且视角一致的结果，我们利用已有及新的几何先验和 3D 增强来提升最终结果的可视保真度。我们在多种真实 3D 场景和文本提示上对我们的框架进行了定性与定量测试，相比基线展示了具有更高灵活性与多样性的逼真多视角一致结果。最后，我们展示了我们的框架在多种 3D 编辑应用中的适用性，包括向场景中添加新物体、移除/替换/改变已有物体，以及纹理转换。