基于几何引导的多视角时序一致的在线 3D 视频合成

我们提出一种新颖的几何引导的在线视频视角合成方法，实现了增强的视角和时序一致性。传统方法需要密集的多视角摄像机设置才能实现高质量合成，但计算资源巨大。相比之下，选择性输入的方法降低了成本，但常常牺牲质量，导致多视角和时序不一致性，如闪烁性 artifacts。我们的方法旨在提供高效、高质量的新视角合成，同时实现视角和时序一致性。我们方法的关键创新在于使用全局几何引导图像基渲染管道。为此，我们通过时间上的颜色差异掩码逐步细化深度图。然后，这些深度图通过截断符号距离场在合成视角的图像空间中进行累积。这种深度表示在视角和时序上是一致的，用于指导预训练的混合网络，以融合多个前向渲染输入视角图像。因此，网络被鼓励输出在多个视角和时间上的几何一致合成结果。我们的方法实现了一致的高质量视频合成，同时以高效的方式在线运行。