基于全局与局部信息的遥感图像-文本检索交叉模态预对齐方法
计算机视觉与模式识别
2024-11-25 v1 信息检索
摘要
遥感跨模态文本图像检索（RSCTIR）因其信息挖掘效用而受到关注。然而，由于遥感图像的多样性以及在模态融合前确保特征正确预对齐，仍面临着有效整合全局与局部信息的挑战，这会影响检索精度和效率。为此，我们提出了CMPAGL（Cross-Modal Pre-Aligned Global-Local），一种利用全局与局部信息的交叉模态预对齐方法。我们的Gswin变换器块组合了局部窗口自注意力和全局-局部窗口跨注意力，以捕获多尺度特征。预对齐机制简化了模态融合训练，提高了检索性能。此外，我们引入了相似度矩阵重加权（SMR）算法进行重新排序，并通过在三元组损失函数中引入类内距离项来增强特征学习。在包括RSICD和RSITMD在内的四个数据集上的实验表明，CMPAGL的有效性，相较于当前最先进的方法，在R@1指标上提升最高可达4.65%，平均召回率（mR）提升2.28%。
引用
@article{arxiv.2411.14704,
title = {Cross-Modal Pre-Aligned Method with Global and Local Information for Remote-Sensing Image and Text Retrieval},
author = {Zengbao Sun and Ming Zhao and Gaorui Liu and André Kaup},
journal= {arXiv preprint arXiv:2411.14704},
year = {2024}
}