探索一种用于跨模态遥感图像检索的细粒度多尺度方法
计算机视觉与模式识别
2022-04-22 v1 多媒体
摘要
遥感（RS）跨模态文本-图像检索因其输入灵活和查询高效的优势而受到广泛关注。然而，传统方法忽略了RS图像中多尺度和目标冗余的特性，导致检索精度下降。为应对RS多模态检索任务中多尺度稀缺和目标冗余的问题，我们提出了一种新颖的非对称多模态特征匹配网络（AMFMN）。我们的模型适应多尺度特征输入，支持多源检索方法，并能动态过滤冗余特征。AMFMN采用多尺度视觉自注意力（MVSA）模块提取RS图像的显著特征，并利用视觉特征引导文本表示。此外，为缓解RS图像中强类内相似性导致的正样本歧义，我们提出了一种基于样本对先验相似度的动态可变间隔三元组损失函数。最后，与具有粗粒度文本和较高类内相似性的传统RS图像-文本数据集不同，我们构建了一个细粒度且更具挑战性的遥感图像-文本匹配数据集（RSITMD），它分别及联合地支持通过关键词和句子进行RS图像检索。在四个RS文本-图像数据集上的实验表明，所提模型在跨模态RS文本-图像检索任务中能达到最先进的性能。
引用
@article{arxiv.2204.09868,
title = {Exploring a Fine-Grained Multiscale Method for Cross-Modal Remote Sensing Image Retrieval},
author = {Zhiqiang Yuan and Wenkai Zhang and Kun Fu and Xuan Li and Chubo Deng and Hongqi Wang and Xian Sun},
journal= {arXiv preprint arXiv:2204.09868},
year = {2022}
}