D-NeRF：面向动态场景的神经辐射场
计算机视觉与模式识别
2020-12-01 v1
摘要
结合机器学习与几何推理的神经渲染技术已成为从稀疏图像集合成场景新视角最具前景的方法之一。其中，神经辐射场（NeRF）表现突出，它训练一个深度网络将 5D 输入坐标（表示空间位置和视角方向）映射为体密度与视角相关的发射辐射。然而，尽管在生成图像上实现了前所未有的真实感水平，NeRF 仅适用于静态场景，即同一空间位置可从不同图像中查询。本文我们提出 D-NeRF，一种将神经辐射场扩展至动态领域的方法，允许从围绕场景运动的单个相机重建并渲染刚性与非刚性运动下物体的新图像。为此，我们将时间作为系统的额外输入，并将学习过程分为两个主要阶段：一个将场景编码至规范空间，另一个将该规范表示映射至特定时刻的形变场景。两个映射均使用全连接网络同时学习。一旦网络训练完成，D-NeRF 可渲染新图像，同时控制相机视角与时间变量，从而控制物体运动。我们在具有刚性、关节式与非刚性运动物体的场景上展示了方法的有效性。代码、模型权重及动态场景数据集将会发布。
引用
@article{arxiv.2011.13961,
title = {D-NeRF: Neural Radiance Fields for Dynamic Scenes},
author = {Albert Pumarola and Enric Corona and Gerard Pons-Moll and Francesc Moreno-Noguer},
journal= {arXiv preprint arXiv:2011.13961},
year = {2020}
}