从动态单目视频进行动态视角合成
计算机视觉与模式识别
2021-05-14 v1
摘要
我们提出一种算法，给定动态场景的单目视频，可在任意视点和任何输入时间步生成新视角。我们的工作建立在神经隐式表示的最新进展之上，并使用连续可微函数建模场景的时变结构与外观。我们联合训练一个时间不变的静态 NeRF 和一个时变的动态 NeRF，并以无监督方式学习如何混合结果。然而，从单个视频学习该隐式函数是高度不适定的（存在无穷多匹配输入视频的解）。为解决歧义，我们引入正则化损失以鼓励更具物理合理性的解。我们展示了来自随意拍摄视频的动态视角合成的广泛定量与定性结果。
引用
@article{arxiv.2105.06468,
title = {Dynamic View Synthesis from Dynamic Monocular Video},
author = {Chen Gao and Ayush Saraf and Johannes Kopf and Jia-Bin Huang},
journal= {arXiv preprint arXiv:2105.06468},
year = {2021}
}
备注
Project webpage: https://free-view-video.github.io/