NeRFEditor：用于完整 3D 场景编辑的可微风格分解
计算机视觉与模式识别
2022-12-09 v2 图形学
图像与视频处理
摘要
我们提出 NeRFEditor，一个高效的 3D 场景编辑学习框架，它以 360{\deg} 拍摄的视频作为输入，输出高质量的、保持身份的风格化 3D 场景。我们的方法支持多种编辑类型，例如由参考图像、文本提示和用户交互引导的编辑。我们通过鼓励预训练的 StyleGAN 模型与 NeRF 模型相互学习来实现这一点。具体而言，我们使用 NeRF 模型生成大量图像-角度对来训练一个调节器（adjustor），该调节器可调整 StyleGAN 潜码以为任意给定角度生成高保真风格化图像。为了将编辑外推到 GAN 域外视角，我们设计了另一个以自监督学习方式训练的模块。该模块将新视角图像映射到 StyleGAN 的隐藏空间，使 StyleGAN 能够在新视角上生成风格化图像。这两个模块共同产生 360{\deg} 视角下的引导图像以微调 NeRF 来实现风格化效果，其中提出了一种稳定的微调策略来完成此过程。实验表明，NeRFEditor 在基准和真实世界场景上以更好的可编辑性、保真度和身份保持优于先前工作。
引用
@article{arxiv.2212.03848,
title = {NeRFEditor: Differentiable Style Decomposition for Full 3D Scene Editing},
author = {Chunyi Sun and Yanbin Liu and Junlin Han and Stephen Gould},
journal= {arXiv preprint arXiv:2212.03848},
year = {2022}
}
备注
Project page: https://chuny1.github.io/NeRFEditor/nerfeditor.html