基于深度三维掩码体的动态场景视图合成

得益于深度学习和各种新颖表示，图像视图合成在重建逼真视觉内容方面取得了巨大成功。沉浸式虚拟体验的下一个关键步骤是动态场景的视图合成。然而，由于缺少高质量训练数据集以及动态场景视频额外的时间维度，存在若干挑战。为解决此问题，我们引入了一个多视角视频数据集，该数据集使用定制的10相机装置以120FPS采集。该数据集包含96个高质量场景，展现了户外场景中的各种视觉效应与人类交互。我们开发了一种新算法——深度三维掩码体（Deep 3D Mask Volume），能够从静态相机捕获的动态场景双目视频中进行时间稳定的视图外推。我们的算法通过三维掩码体识别易错区域，并用整个视频中观测到的静态背景替换它们，从而解决遮挡消失（disocclusion）的时间不一致性问题。我们的方法支持在三维空间中操作，而非简单的二维掩码。我们展示了优于逐帧静态视图合成方法或使用二维掩码的方法的时间稳定性。所得的视图合成视频显示出极小的闪烁伪影，并允许更大的平移运动。