4D-Editor：基于语义蒸馏的动态神经辐射场交互式对象级编辑
计算机视觉与模式识别
2023-11-08 v2
摘要
本文面向动态场景中的交互式对象级编辑（如删除、重新着色、变换、组合）。近来，一些针对以神经辐射场（NeRF）表示的静态场景灵活编辑的方法已展现出令人印象深刻的合成质量，而在时变动态场景中的类似能力仍然有限。为解决此问题，我们提出4D-Editor，一种交互式语义驱动编辑框架，允许在动态NeRF中通过用户在单帧上的笔触编辑多个对象。我们对原始动态NeRF进行扩展，引入混合语义特征蒸馏以在编辑后保持时空一致性。此外，我们设计了递归选择精炼，显著提升动态NeRF内对象分割精度以辅助编辑过程。再者，我们开发了多视图重投影修复来填补编辑后因场景捕获不完整而产生的空洞。在真实世界上的大量实验与编辑示例表明，4D-Editor在动态NeRF上实现了照片级真实感编辑。项目页面：https://patrickddj.github.io/4D-Editor
引用
@article{arxiv.2310.16858,
title = {4D-Editor: Interactive Object-level Editing in Dynamic Neural Radiance Fields via Semantic Distillation},
author = {Dadong Jiang and Zhihui Ke and Xiaobo Zhou and Xidong Shi},
journal= {arXiv preprint arXiv:2310.16858},
year = {2023}
}
备注
Project page: https://patrickddj.github.io/4D-Editor