CLOSP：用于遥感中 SAR、MSI 与文本的统一语义空间
计算机视觉与模式识别
2025-09-25 v2 计算与语言
信息检索
多媒体
摘要
从庞大卫星档案中检索相关影像对于灾害响应和长期气候监测等应用至关重要。然而，大多数文本到图像检索系统仅限于 RGB 数据，无法利用如合成孔径雷达（SAR）的全天候结构灵敏性或光学多光谱数据的光谱特征等独特物理信息。为填补这一差距，我们引入了 CrisisLandMark，这是一个规模为 64.7 万余张的大型语料库，包含配对的 Sentinel-1 SAR 和 Sentinel-2 多光谱影像，伴随结构化文本注释，用于土地覆盖、土地利用及危机事件，均来自权威土地覆盖系统（CORINE 和 Dynamic World）及危机特定来源。随后，我们提出 CLOSP（Contrastive Language Optical SAR Pretraining），一个新型框架，通过文本作为桥梁，将未成对的光学和 SAR 影像对齐到统一的嵌入空间中。我们的实验表明，CLOSP 在现有模型基础上将检索 nDGC@1000 提升了 54%。此外，我们发现统一的训练策略克服了解释 SAR 影像固有困难的难题，通过间接互动将光学领域的丰富语义知识传递给 SAR。将地理坐标整合入框架后的 GeoCLOSP 在通用性与特定性之间形成强大的权衡：虽然 CLOSP 在一般语义任务中表现出色，但 GeoCLOSP 成为检索与地位置相关的危机事件和稀有地理特征的专业专家。本 work 强调，整合多种传感器数据与地理背景对于充分发挥遥感档案的潜力至关重要。
引用
@article{arxiv.2507.10403,
title = {CLOSP: A Unified Semantic Space for SAR, MSI, and Text in Remote Sensing},
author = {Daniele Rege Cambrin and Lorenzo Vaiani and Giuseppe Gallipoli and Luca Cagliero and Paolo Garza},
journal= {arXiv preprint arXiv:2507.10403},
year = {2025}
}