面向遥感跨模态检索的无监督对比哈希方法
计算机视觉与模式识别
2022-04-20 v1
摘要
开发能够基于任意模态的查询在不同模态间搜索和检索语义相关数据的跨模态检索系统，在遥感(RS)领域引起了极大关注。本文关注跨模态文本-图像检索，即一个模态(如文本)的查询可匹配另一模态(如图像)的存档条目。RS中现有多数跨模态文本-图像检索系统需要大量标注训练样本，且无法实现快速、内存高效的检索。这些问题限制了现有跨模态检索系统在RS大规模应用中的适用性。为解决该问题，本文提出一种新颖的无监督跨模态对比哈希(DUCH)方法用于RS中的文本-图像检索。具体而言，所提DUCH由两个主要模块构成：1)特征提取模块，提取双模态的深度表示；2)哈希模块，从提取的表示中学习生成跨模态二值哈希码。我们引入一种新颖的多目标损失函数，包括：i)在模态内与模态间相似性上实现相似性保持的对比目标；ii)跨双模态强制的用于跨模态表示一致性的对抗目标；iii)用于生成哈希码的二值化目标。实验结果表明所提DUCH优于最先进的方法。我们的代码公开于https://git.tu-berlin.de/rsim/duch。
引用
@article{arxiv.2204.08707,
title = {Unsupervised Contrastive Hashing for Cross-Modal Retrieval in Remote Sensing},
author = {Georgii Mikriukov and Mahdyar Ravanbakhsh and Begüm Demir},
journal= {arXiv preprint arXiv:2204.08707},
year = {2022}
}
备注
Our code is publicly available at https://git.tu-berlin.de/rsim/duch. arXiv admin note: substantial text overlap with arXiv:2201.08125