OD-NeRF:即时动态神经辐射场的高效训练
计算机视觉与模式识别
2023-05-25 v1
摘要
动态神经辐射场(动态NeRF)在三维动态场景的新视角合成中展现了令人印象深刻的成果。然而,它们通常需要完整的视频序列进行训练后再进行新视角合成,类似于回放动态三维场景的录制内容。相比之下,我们提出OD-NeRF以高效地即时训练与渲染动态NeRF,其能够流式传输动态场景。在即时训练时,训练帧依次可用,模型逐帧训练与渲染。高效即时训练的关键挑战在于如何有效利用由先前帧估计出的辐射场。为应对该挑战,我们提出:1)一种基于多视角投影颜色条件的NeRF模型,以隐式跟踪当前帧与先前帧间的对应关 系;2)一种过渡与更新算法,利用上一帧的占用网格在当前帧高效采样。我们的算法在合成动态场景的即时训练与渲染上可达到6FPS的交互速度,并且在真实世界动态场景上相比最先进方法实现了显著加速。
引用
@article{arxiv.2305.14831,
title = {OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields},
author = {Zhiwen Yan and Chen Li and Gim Hee Lee},
journal= {arXiv preprint arXiv:2305.14831},
year = {2023}
}