Blending-NeRF：神经辐射场中文本驱动的局部编辑
计算机视觉与模式识别
2023-09-12 v2 人工智能
图形学
摘要
文本驱动的 3D 物体局部编辑尤为困难，因为将原始 3D 物体与预期的新物体及风格效果在局部混合而不扭曲物体形态并非直截了当的过程。为解决此问题，我们提出一种新颖的基于 NeRF 的模型 Blending-NeRF，其由两个 NeRF 网络组成：预训练 NeRF 与可编辑 NeRF。此外，我们引入新的混合操作，使 Blending-NeRF 能够恰当地编辑由文本定位的目标区域。通过使用预训练的视觉-语言对齐模型 CLIP，我们引导 Blending-NeRF 添加具有不同颜色与密度的新物体、修改纹理并移除原始物体的部分结构。我们大量的实验表明，Blending-NeRF 能从多种文本提示中生成自然且局部编辑的 3D 物体。我们的项目页面位于 https://seokhunchoi.github.io/Blending-NeRF/
引用
@article{arxiv.2308.11974,
title = {Blending-NeRF: Text-Driven Localized Editing in Neural Radiance Fields},
author = {Hyeonseop Song and Seokhun Choi and Hoseok Do and Chul Lee and Taehyeong Kim},
journal= {arXiv preprint arXiv:2308.11974},
year = {2023}
}
备注
Accepted to ICCV 2023. The first two authors contributed equally to this work