EditableNeRF：通过关键点编辑拓扑变化的神经辐射场
计算机视觉与模式识别
2023-03-29 v2
摘要
神经辐射场（NeRF）实现了高度逼真的新视角合成，但编辑由基于 NeRF 的方法建模的场景是一个具有挑战性的问题，尤其是对于动态场景。我们提出了可编辑神经辐射场，使终端用户能够轻松编辑动态场景，甚至支持拓扑变化。输入来自单台相机的图像序列，我们的网络以全自动化方式训练，并利用我们提取的表面关键点对拓扑变化的动力学进行建模。随后终端用户可通过轻松拖拽关键点至期望的新位置来编辑场景。为此，我们提出了一种场景分析方法，通过考虑场景中的动力学来检测并初始化关键点，以及一种加权关键点策略，通过关键点与权重的联合优化来建模拓扑变化的动力学。我们的方法支持直观的多维（最高 3D）编辑，并能生成输入序列中未出现的新场景。实验表明，我们的方法在各种动态场景上实现了高质量编辑，并优于最先进方法。我们的代码与采集数据可在 https://chengwei-zheng.github.io/EditableNeRF/ 获取。
引用
@article{arxiv.2212.04247,
title = {EditableNeRF: Editing Topologically Varying Neural Radiance Fields by Key Points},
author = {Chengwei Zheng and Wenbin Lin and Feng Xu},
journal= {arXiv preprint arXiv:2212.04247},
year = {2023}
}
备注
Accepted by CVPR 2023