HashGAN：用于跨模态检索的注意力感知深度对抗哈希

随着多模态数据的快速增长，用于跨模态检索的哈希方法受到了相当关注。基于深度网络的跨模态哈希方法颇具吸引力，因为它们能将特征学习与哈希编码集成到端到端可训练的框架中。然而，由于异质性鸿沟，寻找不同模态数据间的内容相似性仍具挑战。为进一步解决该问题，我们提出一种带注意力机制的对抗哈希网络，通过选择性关注多模态数据的信息部分来增强内容相似性的度量。所提出的新型对抗网络 HashGAN 由三个模块构成：1）特征学习模块以获取特征表示；2）生成式注意力模块以生成注意力掩码，用于获得被关注（前景）与未被关注（背景）的特征表示；3）判别式哈希编码模块以学习保持不同模态间相似性的哈希函数。在我们的框架中，生成模块与判别模块以对抗方式训练：生成器被学习以使判别器无法保持多模态数据相对于背景特征表示的相似性，而判别器旨在保持多模态数据相对于前景与背景特征表示的相似性。在多个基准数据集上的广泛评估表明，所提出的 HashGAN 相较其他最先进的跨模态哈希方法带来了实质性改进。