面向遥感大规模跨模态文本-图像检索的深度无监督对比哈希方法
计算机视觉与模式识别
2022-01-21 v1
摘要
由于大规模多模态数据（例如由不同传感器获取的卫星图像、文本句子等）档案的可用性，开发能够基于任意模态的查询跨不同模态搜索并检索语义相关数据的跨模态检索系统，在遥感（RS）领域引起了极大关注。本文关注跨模态文本-图像检索，即一个模态（如文本）的查询可与另一模态（如图像）的档案条目相匹配。现有大多数跨模态文本-图像检索系统需要大量标注训练样本，并且因其固有特性而无法实现快速且内存高效的检索。这些问题限制了现有跨模态检索系统在遥感大规模应用中的适用性。为解决该问题，本文提出一种用于遥感文本-图像检索的新型深度无监督跨模态对比哈希（DUCH）方法。所提出的 DUCH 由两个主要模块构成：1）特征提取模块（提取文本-图像模态的深度表示）；2）哈希模块（从提取的表示中学习生成跨模态二进制哈希码）。在哈希模块中，我们引入了一种包含以下项的多目标损失函数：i）能够在模态内与模态间相似性上保持相似性的对比目标；ii）跨两种模态施加以达成跨模态表示一致性的对抗目标；iii）用于生成代表性哈希码的二值化目标。实验结果表明，所提出的 DUCH 在遥感的两个多模态（图像与文本）基准档案上优于最先进的（SOTA）无监督跨模态哈希方法。我们的代码公开于 https://git.tu-berlin.de/rsim/duch。
引用
@article{arxiv.2201.08125,
title = {Deep Unsupervised Contrastive Hashing for Large-Scale Cross-Modal Text-Image Retrieval in Remote Sensing},
author = {Georgii Mikriukov and Mahdyar Ravanbakhsh and Begüm Demir},
journal= {arXiv preprint arXiv:2201.08125},
year = {2022}
}