基于单目相机全局一致深度的动态场景新视角合成
计算机视觉与模式识别
2020-04-06 v1
摘要
本文提出了一种新方法，给定动态场景的一组图像，可从任意视角和时间合成图像。动态场景重建中极线几何不适用于动态内容的局部运动，这给新视角合成带来了关键挑战。为应对该挑战，我们提出结合单视图深度（DSV）与多视图立体深度（DMV），其中 DSV 是完整的，即每个像素都分配一个深度，但尺度随视角变化，而 DMV 尺度视角不变却不完整。我们的洞见是，尽管单视图深度估计的尺度与质量与其他视图不一致，但可用于推断动态内容的全局一致几何结构。我们将此问题表述为学习校正 DSV 的尺度，并利用视图间局部一致运动细化各深度以形成一致深度估计。我们以自监督方式将这些任务集成到深度融合网络中。给定融合深度图，我们利用深度混合网络在特定位置和时间合成照片级真实感的虚拟视图，该网络补全场景并渲染虚拟视图。我们在多种真实世界动态场景上评估了我们的深度估计与视图合成方法，并展现出优于现有方法的出色性能。
引用
@article{arxiv.2004.01294,
title = {Novel View Synthesis of Dynamic Scenes with Globally Coherent Depths from a Monocular Camera},
author = {Jae Shin Yoon and Kihwan Kim and Orazio Gallo and Hyun Soo Park and Jan Kautz},
journal= {arXiv preprint arXiv:2004.01294},
year = {2020}
}
备注
This paper is accepted to CVPR 2020