Sat2Vid：从单张卫星图像合成街景全景视频

我们提出了一种从单张卫星图像和相机轨迹合成兼具时间一致性与几何一致性的街景全景视频的新方法。现有的跨视角合成方法聚焦于图像，而此类情况下的视频合成尚未受到足够关注。为实现几何与时间一致性，我们的方法显式构建场景的 3D 点云表示，并在各帧间保持反映由卫星视角推断的几何场景配置的密集 3D-2D 对应。对于 3D 空间中的合成，我们实现了带两个 hourglass 模块的级联网络架构，从语义和逐类隐向量生成逐点粗粒度与细粒度特征，随后投影至各帧并通过上采样模块获得最终逼真视频。借助计算得到的对应，生成的街景视频帧遵循 3D 几何场景结构并保持时间一致性。定性与定量实验表明，与缺乏时间一致性或真实外观的其他 SOTA 合成方法相比，我们的结果更优。据我们所知，我们的工作是首个将跨视角图像合成为视频的工作。