ProteusNeRF：利用三维感知图像上下文的快速轻量 NeRF 编辑
计算机视觉与模式识别
2024-04-24 v3 图形学
摘要
神经辐射场（NeRFs）近来已成为逼真物体捕捉的热门方案，因其即使仅通过手持视频输入也能忠实捕获高保真体积内容。尽管大量研究致力于高效优化以实现实时训练与渲染，但交互式编辑 NeRF 的方案仍然有限。我们提出了一种非常简单但有效的神经网络架构，其快速高效且保持较低内存占用。该架构可通过用户友好的基于图像的编辑进行增量引导。我们的表示在训练阶段通过语义特征蒸馏实现直接的对象选择。更重要的是，我们提出一种局部三维感知图像上下文，以促进视图一致的图像编辑，随后可通过几何与外观调整将其蒸馏至微调的 NeRF 中。我们在多种示例上评估了我们的设置，展示了外观与几何编辑，并报告了相较同期专注于文本引导 NeRF 编辑的工作有 10-30 倍的加速。视频结果可在我们的项目网页 https://proteusnerf.github.io 查看。
引用
@article{arxiv.2310.09965,
title = {ProteusNeRF: Fast Lightweight NeRF Editing using 3D-Aware Image Context},
author = {Binglun Wang and Niladri Shekhar Dutt and Niloy J. Mitra},
journal= {arXiv preprint arXiv:2310.09965},
year = {2024}
}
备注
Accepted at I3D'24 (ACM SIGGRAPH SYMPOSIUM ON INTERACTIVE 3D GRAPHICS AND GAMES)