用于无监督跨模态哈希的自适应结构相似性保持
信息检索
2022-07-12 v1
摘要
跨模态哈希是多模态数据管理与应用的重要方法。现有无监督跨模态哈希算法主要依赖预训练模型中的数据特征来挖掘其相似性关系。然而,它们的优化目标基于原始单模态特征间的静态度量,未在训练中进一步探索数据关联。此外,它们大多关注连续空间中成对实例间的关联挖掘与对齐,而忽略了语义哈希空间中包含的潜在结构关联。本文提出一种无监督哈希学习框架,即自适应结构相似性保持哈希(ASSPH),以解决上述问题。首先,我们提出一种自适应学习方案,在有限数据与训练批次下,丰富训练中未标注实例的语义关联,同时确保训练过程的平滑收敛。其次,我们提出一种非对称结构语义表示学习方案。在语义重建与关联挖掘阶段引入基于图邻接关系的结构语义度量,并通过非对称二值优化过程在哈希空间中对齐结构语义。最后,我们进行了大量实验,以验证本工作相较现有工作的提升。
引用
@article{arxiv.2207.04214,
title = {Adaptive Structural Similarity Preserving for Unsupervised Cross Modal Hashing},
author = {Liang Li and Baihua Zheng and Weiwei Sun},
journal= {arXiv preprint arXiv:2207.04214},
year = {2022}
}
备注
Accepted to ACM Multimedia 2022 as Poster