用于跨模态哈希的深度二值重建
计算机视觉与模式识别
2017-08-25 v2 多媒体
摘要
随着对海量多模态数据存储与组织的需求日益增加，基于哈希技术的跨模态检索如今备受关注。它以一种模态的二值码作为查询，检索另一种模态的相关哈希码。然而，现有的二值约束使得寻找最优的跨模态哈希函数变得困难。大多数方法选择放松约束，并对实值表示执行阈值策略，而不是直接求解原始目标。在本文中，我们首先具体分析了多模态网络在保持跨模态与模态内一致性方面的有效性。基于该分析，我们提出了一种所谓的深度二值重建（DBRC）网络，它能够以无监督方式直接学习二值哈希码。其优越性源于一种提出的高效而简单的激活函数，称为自适应 Tanh（ATanh）。ATanh 函数能够自适应地学习二值码，并可通过反向传播进行训练。在三个基准数据集上的大量实验表明，DBRC 在 image2text 和 text2image 检索任务中均优于几种 SOTA 方法。
引用
@article{arxiv.1708.05127,
title = {Deep Binary Reconstruction for Cross-modal Hashing},
author = {Xuelong Li and Di Hu and Feiping Nie},
journal= {arXiv preprint arXiv:1708.05127},
year = {2017}
}
备注
8 pages, 5 figures, accepted by ACM Multimedia 2017