面向无监督跨模态哈希的综合图条件相似性保持网络
信息检索
2020-12-29 v1 计算机视觉与模式识别
摘要
无监督跨模态哈希（UCMH）近来成为研究热点。当前UCMH侧重于探索数据相似性。然而，现有UCMH方法在计算两个数据之间的相似性时，主要依赖这两个数据的跨模态特征。这些方法存在相似性不准确的问题，导致检索汉明空间次优，因为数据间的跨模态特征不足以描述复杂的数据关系，例如两个数据具有不同特征表示但共享内在概念的情形。本文设计了一种深度图邻域相干保持网络（DGCPN）。具体而言，DGCPN源于图模型，并通过整合数据与其邻域之间的信息来探索图邻域相干性。DGCPN利用三类数据相似性（即图邻域相干性、共存相似性和模态内与模态间一致性）来约束综合相似性保持损失，并设计了一种半实半二值优化策略以减少哈希过程中的量化误差。本质上，DGCPN通过图中的数据内在关系探索与利用来解决相似性不准确问题。我们在三个公开UCMH数据集上进行了大量实验。实验结果表明了DGCPN的优越性，例如在MIRFlickr-25K上使用64位哈希码从图像检索文本时将平均精度均值从0.722提升至0.751。我们将在 https://github.com/Atmegal/DGCPN 发布源代码包与训练好的模型。
引用
@article{arxiv.2012.13538,
title = {Comprehensive Graph-conditional Similarity Preserving Network for Unsupervised Cross-modal Hashing},
author = {Jun Yu and Hao Zhou and Yibing Zhan and Dacheng Tao},
journal= {arXiv preprint arXiv:2012.13538},
year = {2020}
}