基于全局与局部信息的遥感跨模态文本-图像检索
计算机视觉与模式识别
2022-04-22 v1 信息检索
多媒体
摘要
跨模态遥感文本-图像检索（RSCTIR）因能够在遥感（RS）图像上实现快速灵活的信息提取，近期已成为紧迫的研究热点。然而，现有 RSCTIR 方法主要关注 RS 图像的全局特征，导致反映目标关系与显著性的局部特征被忽视。本文中，我们首先提出一种基于全局与局部信息（GaLR）的新型 RSCTIR 框架，并设计多级信息动态融合（MIDF）模块以有效整合不同层级的特征。MIDF 利用局部信息校正全局信息，借助全局信息补充局部信息，并通过二者动态相加生成显著的视觉表征。为缓解冗余目标对图卷积网络（GCN）的压力，并提升模型在局部特征建模过程中对显著实例的注意力，我们设计了去噪表征矩阵与增强邻接矩阵（DREA）以辅助 GCN 生成更优的局部表征。DREA 不仅滤除高相似度的冗余特征，还通过增强显著目标的特征获得更强大的局部特征。最后，为在推理阶段充分利用相似度矩阵中的信息，我们提出一种即插即用的多元重排序（MR）算法。该算法利用检索结果的 k 近邻执行反向搜索，并结合双向检索的多个分量提升性能。在公开数据集上的大量实验有力证明了 GaLR 方法在 RSCTIR 任务上的 SOTA 性能。GaLR 方法、MR 算法及相应文件的代码已发布于 https://github.com/xiaoyuan1996/GaLR 。
引用
@article{arxiv.2204.09860,
title = {Remote Sensing Cross-Modal Text-Image Retrieval Based on Global and Local Information},
author = {Zhiqiang Yuan and Wenkai Zhang and Changyuan Tian and Xuee Rong and Zhengyuan Zhang and Hongqi Wang and Kun Fu and Xian Sun},
journal= {arXiv preprint arXiv:2204.09860},
year = {2022}
}