深度鲁棒多级语义跨模态哈希
计算机视觉与模式识别
2020-10-07 v2
摘要
基于哈希的跨模态检索近期取得显著进展。但将不同模态数据直接嵌入联合汉明空间，会因固有的模态差异与噪声不可避免地产生错误码。我们提出一种新颖的鲁棒多级语义哈希（RMSH）以实现更精准的跨模态检索。它力求在富含语义的数据间保持细粒度相似性，同时明确要求不相似点间距离大于特定值以获得强鲁棒性。为此，我们基于信息编码理论分析给出了该值的有效界，并将上述目标体现于边缘自适应三元组损失中。此外，我们通过融合多个哈希码引入伪码以探索罕见语义，缓解相似度信息的稀疏问题。在三个基准上的实验表明了所推导界的有效性，且我们的方法取得了最先进的性能。
引用
@article{arxiv.2002.02698,
title = {Deep Robust Multilevel Semantic Cross-Modal Hashing},
author = {Ge Song and Jun Zhao and Xiaoyang Tan},
journal= {arXiv preprint arXiv:2002.02698},
year = {2020}
}
备注
11 pages, 9 figures, submitted to a journal