遥感图像-文本检索中的伪匹配对：PMPGuard
计算机视觉与模式识别
2025-12-23 v1 机器学习
多媒体
摘要
遥感图像-文本检索在现实数据集中面临着显著挑战，由于存在与之不匹配或弱对齐的图像-文本对（伪匹配对，PMPs），这些不匹配阻碍了可靠的跨模态对齐学习。为解决这一问题，我们提出一种新型检索框架，利用跨模态门控注意力和正负感知注意力机制来缓解此类噪声关联的影响。该门控模块动态调节跨模态信息流，而感知机制在对齐学习期间显式地区分信息丰富（正）线索与误导（负）线索。在三个基准遥感数据集上进行的大量实验，即RSICD、RSITMD和RS5M，表明我们的方法在处理遥感图像-文本检索任务中的真实世界不匹配和PMPs方面持续实现最先进的性能，凸显了其在处理实际不匹配问题和PMPs方面的鲁棒性和有效性。
引用
@article{arxiv.2512.18660,
title = {PMPGuard: Catching Pseudo-Matched Pairs in Remote Sensing Image-Text Retrieval},
author = {Pengxiang Ouyang and Qing Ma and Zheng Wang and Cong Bai},
journal= {arXiv preprint arXiv:2512.18660},
year = {2025}
}