用于动态场景时空视角合成的神经场景流场
计算机视觉与模式识别
2021-04-22 v3
摘要
我们提出一种对动态场景进行新视角与时间合成的方法，仅需以已知相机位姿的单目视频作为输入。为此，我们引入神经场景流场（Neural Scene Flow Fields），一种将动态场景建模为外观、几何与3D场景运动的时间变化连续函数的新表示。我们的表示通过神经网络优化以拟合观测到的输入视角。我们展示了该表示可用于复杂动态场景，包括薄结构、视角相关效应与自然运动程度。我们进行了若干实验，表明我们的方法显著优于近期单目视角合成方法，并展示了在多种真实世界视频上的时空视角合成定性结果。
引用
@article{arxiv.2011.13084,
title = {Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes},
author = {Zhengqi Li and Simon Niklaus and Noah Snavely and Oliver Wang},
journal= {arXiv preprint arXiv:2011.13084},
year = {2021}
}
备注
CVPR 2021, Project Website: http://www.cs.cornell.edu/~zl548/NSFF/