面向地球观测的卫星-地面协同大型视觉语言模型系统
网络与互联网体系结构
2025-07-09 v1 人工智能
机器学习
摘要
最近，大型视觉语言模型 (LVM) 释放了低轨道 (LEO) 卫星地球观测图像在数据中心的强大分析能力。然而，卫星快速运动、卫星-地面站 (GS) 联系窗口短小以及图像大尺寸构成数据下载挑战。为实现近实时地球观测应用（如灾害和极端天气监测），我们应探索如何在 LEO 卫星网络中部署 LVLM，并设计一种高效的卫星-地面协同 LVLM 推理系统 SpaceVerse。为此，我们首先在卫星上部署紧凑型 LVLM 用于轻量级任务，而在 GS 上运行常规 LVLM 以处理计算密集型任务。随后，我们提出一种由渐进置信网络和基于注意力的多尺度预处理组成的计算和通信协同设计框架，分别用于识别卫星上推理数据并减少卫星-GS 传输前的数据冗余。我们在真实的 LEO 卫星星座和数据集上实现和评估了 SpaceVerse，在与最先进的基线相比下实现了 31.2% 的平均准确率提升和 51.2% 的延迟降低。
关键词
引用
@article{arxiv.2507.05731,
title = {A Satellite-Ground Synergistic Large Vision-Language Model System for Earth Observation},
author = {Yuxin Zhang and Jiahao Yang and Zhe Chen and Wenjun Zhu and Jin Zhao and Yue Gao},
journal= {arXiv preprint arXiv:2507.05731},
year = {2025}
}
备注
11 pages, 12 figures