Control-NeRF：用于场景渲染与编辑的可编辑特征体
计算机视觉与模式识别
2022-04-25 v1
摘要
我们提出了一种新颖的方法，用于执行灵活的、具备 3D 感知的图像内容操控，同时实现高质量的新视角合成。尽管基于 NeRF 的方法对新视角合成十分有效，但此类模型在神经网络中记忆了场景中每个点的辐射度。由于这些模型是特定于场景的且缺乏 3D 场景表示，诸如形状操控或场景组合等经典编辑操作无法实现。因此，基于 NeRF 的场景的编辑与组合尚未得到展示。为了获得可解释且可控的场景表示，我们的模型将学习到的特定场景特征体与场景无关的神经网络渲染网络相耦合。借助这种混合表示，我们将神经渲染与特定场景的几何和外观解耦。我们可通过仅优化特定场景的 3D 特征表示来泛化到新场景，同时保持渲染网络的参数固定。因此在初始训练阶段学习到的渲染函数可轻松应用于新场景，使我们的方法更加灵活。更重要的是，由于特征体与渲染模型相互独立，我们可以通过编辑其对应的特征体来操控和组合场景。编辑后的体可随后接入渲染模型以合成高质量新视角。我们展示了多种场景操控，包括混合场景、变形物体以及将物体插入场景，同时仍能生成照片级真实感的结果。
引用
@article{arxiv.2204.10850,
title = {Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation},
author = {Verica Lazova and Vladimir Guzov and Kyle Olszewski and Sergey Tulyakov and Gerard Pons-Moll},
journal= {arXiv preprint arXiv:2204.10850},
year = {2022}
}