Seal-3D：面向神经辐射场的交互式像素级编辑
计算机视觉与模式识别
2023-08-29 v2 图形学
摘要
随着隐式神经表示（即神经辐射场，NeRF）的普及，对于以交互方式编辑隐式三维模型以满足后处理重建场景和三维内容创建等任务的需求日益迫切。尽管先前工作从不同角度探索了 NeRF 编辑，但它们在编辑灵活性、质量和速度上受限，无法提供直接编辑响应与即时预览。关键挑战在于构想一种局部可编辑的神经表示，能够直接反映编辑指令并即时更新。为弥补这一差距，我们提出了一种针对隐式表示的新交互式编辑方法与系统，称为 Seal-3D，它允许用户以像素级和自由的方式编辑 NeRF 模型，支持广泛的类 NeRF 骨干网络，并即时预览编辑效果。为实现这些效果，我们通过提出的代理函数将编辑指令映射到教师模型中 NeRF 模型的原始空间，以及针对学生模型采用局部预训练与全局微调的两阶段训练策略来应对挑战。我们构建了一个 NeRF 编辑系统以展示多种编辑类型。我们的系统能以约 1 秒的交互速度实现引人注目的编辑效果。
引用
@article{arxiv.2307.15131,
title = {Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields},
author = {Xiangyu Wang and Jingsen Zhu and Qi Ye and Yuchi Huo and Yunlong Ran and Zhihua Zhong and Jiming Chen},
journal= {arXiv preprint arXiv:2307.15131},
year = {2023}
}
备注
Accepted by ICCV2023. Project Page: https://windingwind.github.io/seal-3d/ Code: https://github.com/windingwind/seal-3d/