SatDreamer360：从卫星图像生成多视角一致的地面场景
计算机视觉与模式识别
2025-10-14 v2
摘要
从卫星图像生成多视角一致的 地面场景是一项具有挑战性的任务，在仿真、自主导航和数字孪生城市中具有广泛应用。现有方法主要侧重于合成单个地面视图全景图，通常依赖高度图或手工设计的投影等辅助输入，且难以生成多视角一致的序列。在本文中，我们提出了SatDreamer360，一个在给定预定义位姿轨迹下，从单张卫星图像生成几何一致的多视角地面全景图的框架。为了解决地面图像与卫星图像之间巨大的视角差异，我们采用三平面表示来编码场景特征，并设计了一种基于射线的像素注意力机制，从三平面中检索特定视角的特征。为了保持多帧一致性，我们引入了全景对极约束注意力模块，基于已知的相对位姿跨帧对齐特征。为了支持评估，我们通过在原始VIGOR数据集上增加更多地面视图图像及其位姿标注，引入了{VIGOR++}，一个用于从卫星图像生成多视角地面全景图的大规模数据集。实验表明，SatDreamer360在卫星到地面对齐和多视角一致性方面均优于现有方法。
引用
@article{arxiv.2506.00600,
title = {SatDreamer360: Multiview-Consistent Generation of Ground-Level Scenes from Satellite Imagery},
author = {Xianghui Ze and Beiyi Zhu and Zhenbo Song and Jianfeng Lu and Yujiao Shi},
journal= {arXiv preprint arXiv:2506.00600},
year = {2025}
}