基于隐式多平面表示的遥感新视角合成

遥感场景的新视角合成对于场景可视化、人机交互及各种下游应用具有重要意义。尽管计算机图形学与摄影测量技术近期取得进展，但由于遥感图像的高复杂性、视角稀疏性和有限的视角透视变化，生成新视角仍具挑战性。本文中，我们利用隐式神经表示的最新进展，提出一种新颖的遥感视角合成方法。考虑到遥感图像的高空与远深度成像，我们通过结合隐式多平面图像（MPI）表示与深度神经网络来表示三维空间。在自监督优化范式下，通过具有多视角输入约束的可微分多平面渲染器重建三维场景。因此，任意新视角的图像可基于重建模型自由渲染。作为副产品，给定视点对应的深度图可随渲染输出一并生成。我们将该方法称为隐式多平面图像（ImMPI）。为进一步提升稀疏视角输入下的视角合成，我们探索了基于学习的遥感三维场景初始化，并提出基于神经网络的先验提取器以加速优化过程。此外，我们提出了一个用于遥感新视角合成的新数据集，包含多视角真实世界谷歌地球图像。大量实验证明了ImMPI在重建精度、视觉保真度和时间效率上优于先前最先进（SOTA）方法。消融实验也表明了我们的方法设计的有效性。我们的数据集与代码可在 https://github.com/wyc-Chang/ImMPI 获取。