SceNeRFlow:通用动态场景的时间一致性重建
计算机视觉与模式识别
2023-08-17 v1 图形学
摘要
现有的针对通用、非刚性形变物体的 4D 重建方法聚焦于新视角合成而忽视了对应关系。然而,时间一致性使得诸如 3D 编辑、运动分析或虚拟资产生成等高级下游任务成为可能。我们提出 SceNeRFlow 以时间一致的方式重建通用非刚性场景。我们的动态 NeRF 方法以具有已知相机参数的静态相机拍摄的多视角 RGB 视频与背景图像作为输入。随后它以在线方式重建估计得到的几何与外观规范模型的形变。由于该规范模型是时间不变的,我们即便对于长期、长距离运动也能获得对应关系。我们采用神经场景表示来参数化方法的各组件。如同先前的动态 NeRF 方法,我们使用反向形变模型。我们发现对此模型进行非平凡的适配是处理更大运动的必要手段:我们将形变分解为强正则化的粗粒度分量与弱正则化的细粒度分量,其中粗粒度分量还将形变场扩展至物体周围的空间,从而实现随时间跟踪。我们通过实验表明,与仅能处理小运动的已有工作不同,我们的方法能够实现工作室尺度运动的重建。
引用
@article{arxiv.2308.08258,
title = {SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes},
author = {Edith Tretschk and Vladislav Golyanik and Michael Zollhoefer and Aljaz Bozic and Christoph Lassner and Christian Theobalt},
journal= {arXiv preprint arXiv:2308.08258},
year = {2023}
}
备注
Project page: https://vcai.mpi-inf.mpg.de/projects/scenerflow/