通过消除后对齐与关键词显式推理提升遥感图像-文本检索：iBEAKER 方法
计算机视觉与模式识别
2025-04-09 v1
摘要
近期研究聚焦于遥感图像-文本检索（RSITR），旨在基于给定查询查找相应目标。其中，Foundation Models（FMs）如 CLIP 应用于遥感领域已取得鼎成效果。然而，现有基于 FMs 的方法忽略了弱相关样本对的负面影响，未能体现遥感文本间的关键差异，导致对样本对的偏置性和浅层探索。为此，我们提出一种名为 iEBAKER（改进版消除后对齐策略搭配关键词显式推理框架）的方法用于 RSITR。具体而言，我们提出一种创新的消除后对齐（EBA）策略，以过滤弱相关样本对，从而减轻其对最优嵌入空间的偏离。进一步，从局部相似度和全局相似度相互影响的角度，引入两种特定方案。基于此，我们引入一种替代的“反向检索后排序”（SAR）策略，以优化相似度矩阵。此外，我们融入关键词显式推理（KER）模块，以促进细微关键概念差异的积极影响。该方法无需额外的遥感数据预训练，即可直接从 FMs 过渡到 RSITR 任务。大量实验表明，我们提出的 iEBAKER 方法在三个流行基准数据集上超越了最先进模型，同时所需训练数据更少。我们的源代码将在 https://github.com/zhangy0822/iEBAKER 上发布。
引用
@article{arxiv.2504.05644,
title = {iEBAKER: Improved Remote Sensing Image-Text Retrieval Framework via Eliminate Before Align and Keyword Explicit Reasoning},
author = {Yan Zhang and Zhong Ji and Changxu Meng and Yanwei Pang and Jungong Han},
journal= {arXiv preprint arXiv:2504.05644},
year = {2025}
}