基于几何引导的从卫星影像合成街景全景图

本文提出了一种在给定俯视卫星图像的情况下合成新颖街景全景图的新方法。我们的方法以一小块卫星图像补丁作为输入，生成谷歌全向街景类型的全景图，仿佛该全景图是从与卫星补丁中心相同的地理位置捕获的。现有工作将此项任务视为图像生成问题，采用生成对抗网络（GAN）隐式地学习跨视角变换，而忽略了领域相关性。在本文中，我们提出显式地建立两视角图像之间的几何对应关系，以促进跨视角变换学习。具体而言，我们观察到当真实世界中的一个三维点在两个视角中均可见时，给定该三维点的高度信息，两个视角图像中投影点之间存在确定性映射。受此启发，我们开发了新颖的卫星到街景图像投影（S2SP）模块，该模块显式地建立此类几何对应关系并将卫星图像投影到街景视角。以这些投影后的卫星图像作为网络输入，我们接下来采用一个生成器来合成与卫星图像几何一致的逼真街景全景图。我们的S2SP模块是可微分的，且整个框架以端到端方式训练。在两个跨视角基准数据集上的大量实验结果表明，与现有方法相比，我们的方法生成的图像更好地遵循了场景几何结构。