通过联合嵌入实现零样卫星图像检索：危机响应中的应用
计算机视觉与模式识别
2026-05-21 v3
摘要
地球观测档案的语义搜索仍然具有挑战性。视觉基础模型如 CLAY 能够为卫星影像生成丰富的嵌入表示，但缺乏自然语言的对齐，使得查询方式不够直观；而完整的遥感 CLIP 风格模型进行对比学习需要的配对数据和计算资源，在全球尺度下难以获得。为实现全球范围内的自然语言查询，本文提出了 GeoQuery—a 一个零样检索系统，通过两阶段语义和视觉搜索，规避数据和计算资源的限制，同时利用自然语言嵌入表示全球数据的子集（代理集）。本文不训练联合编码器，而是为 10 万个全球 Sentinel-2 瓦片生成语言描述，并优化描述生成提示，使得该文本嵌入空间中的距离与冻结的 CLAY 视觉嵌入空间中的距离保持相关。查询通过两个阶段解决：首先在代理子集上进行文本相似性搜索，随后在全球 CLAY 嵌入上进行视觉最近邻搜索。在覆盖 UK 洪水、美国野火和美国干旱共 76 个灾难地点查询中，GeoQuery 在 50km 范围内实现 31.6% 的准确率，其中在洪水（50% 精准率）表现最佳，表明地形特征在 RGB 嵌入中被良好捕获。部署于危机响应系统 ECHO{} 中，GeoQuery 在 2025 年布里斯班台风 Alfred期间识别了易受伤害的区域，后续洪水模拟结果复现了历史模式。提示对齐的代理集在无需大规模对比学习的情况下，为 EO 基础模型与实际检索之间提供了实用桥梁。
引用
@article{arxiv.2605.05405,
title = {Zero-Shot Satellite Image Retrieval through Joint Embeddings: Application to Crisis Response},
author = {James Walsh and William Fawcett and Grace Colverd and Raúl Ramos-Pollán},
journal= {arXiv preprint arXiv:2605.05405},
year = {2026}
}