利用地理空间基础模型的多光谱遥感图像检索
计算机视觉与模式识别
2024-05-24 v2
摘要
图像检索能够高效搜索海量卫星图像并返回与查询相似的图像。深度学习模型无需标注即可识别跨越各种语义概念的图像。本工作提出使用如 Prithvi 等地理空间基础模型进行遥感图像检索，具有多重优势：i) 模型能够编码多光谱卫星数据；ii) 无需进一步微调即可泛化。我们为检索任务引入了两个数据集，并观察到强大的性能：Prithvi 处理六个波段，在 BigEarthNet-43 上实现了 97.62% 的平均精度均值，在 ForestNet-12 上实现了 44.51%，优于其他基于 RGB 的模型。此外，我们评估了三种采用二值化嵌入的压缩方法，以平衡检索速度和精度。它们匹配了短得多哈希码的检索速度，同时保持了与浮点嵌入相同的精度，但实现了 32 倍的压缩。代码可在 https://github.com/IBM/remote-sensing-image-retrieval 获取。
引用
@article{arxiv.2403.02059,
title = {Multi-Spectral Remote Sensing Image Retrieval Using Geospatial Foundation Models},
author = {Benedikt Blumenstiel and Viktoria Moor and Romeo Kienzler and Thomas Brunschwiler},
journal= {arXiv preprint arXiv:2403.02059},
year = {2024}
}
备注
Proceedings of the IEEE International Geoscience and Remote Sensing Symposium (IGARSS)