遥感图像文本跨模态时间序列检索的自监督方法
计算机视觉与模式识别
2025-07-16 v2
摘要
遥感图像时间序列检索（ITSR）方法的开发是日益受到关注的研究领域。给定用户定义的图像时间序列（即查询时间序列），ITSR方法从大型档案库中搜索并检索与查询时间序列内容相似的图像时间序列。现有的遥感领域ITSR方法设计用于单模态检索问题，依赖于用户始终能够访问所考虑图像模态的查询图像时间序列的假设。在实际场景中，这一假设可能不成立。为克服这一问题，我们首次在遥感领域引入文本-图像时间序列检索（text-ITSR）任务。具体而言，我们present一种自监督的跨模态文本-ITSR方法，使其能够使用文本句子作为查询检索图像时间序列，反之亦然。我们专注于成对的图像（即双时相图像）上的文本-ITSR。我们的文本-ITSR方法包含两个关键组件：1）用于建模双时相图像和文本句子语义内容的模态特定编码器，以获得判别性特征；2）用于将文本和图像表示在共享嵌入空间中对齐的模态特定投影头。为有效建模双时相图像中的时间信息，我们利用两种融合策略：i）全局特征融合（GFF）策略通过简单且有效的方法组合全局图像特征；ii）基于Transformer的特征融合（TFF）策略利用Transformer进行细粒度的时间集成。在两个基准遥感档案库上进行的大量实验表明，我们的方法在准确检索与查询文本句子（或双时相图像）语义相关的双时相图像（或文本句子）方面具有有效性。本工作的代码已公开available at https://git.tu-berlin.de/rsim/cross-modal-text-tsir。
引用
@article{arxiv.2501.19043,
title = {Self-Supervised Cross-Modal Text-Image Time Series Retrieval in Remote Sensing},
author = {Genc Hoxha and Olivér Angyal and Begüm Demir},
journal= {arXiv preprint arXiv:2501.19043},
year = {2025}
}