NeRF-Insert：基于多模态控制信号的 3D 局部编辑
计算机视觉与模式识别
2024-05-01 v1 人工智能
图形学
摘要
我们提出 NeRF-Insert，一种允许用户以灵活程度进行高质量局部编辑的 NeRF 编辑框架。与依赖图像到图像模型的先前工作不同，我们将场景编辑视为填充问题，这有助于保留场景的全局结构。此外，虽然大多数现有方法仅使用文本提示来条件化编辑，但我们的框架接受来自不同模态的组合输入作为参考。更准确地说，用户可以提供包括图像、CAD 模型和二进制图像掩码在内的文本和视觉输入组合，用于指定 3D 区域。我们使用通用图像生成模型从多个视角进行填充，将局部编辑提升为 3D 一致的 NeRF 编辑。与先前方法相比，我们的结果在视觉质量上更好，还能更好地保持与原始 NeRF 的一致性。
引用
@article{arxiv.2404.19204,
title = {NeRF-Insert: 3D Local Editing with Multimodal Control Signals},
author = {Benet Oriol Sabat and Alessandro Achille and Matthew Trager and Stefano Soatto},
journal= {arXiv preprint arXiv:2404.19204},
year = {2024}
}