基于语义相似度度量与经验 KL 散度的哈希学习

哈希学习是从海量数据库中进行精确与近似最近邻搜索的一种高效范式。二值哈希码通常通过对 CNN 的输出特征进行舍入从图像中提取，该 CNN 在一个有监督的二值相似/不相似任务上训练。这种方法的缺点有：(i) 所得编码未必能捕捉输入数据的语义相似性；(ii) 舍入导致信息损失，表现为检索性能下降；(iii) 仅以类别级相似性作为目标可能导致平凡解，即仅编码分类器输出而非学习更微妙的关系，而大多数性能指标无法察觉这一点。我们针对 (i) 提出一种新颖的损失函数，鼓励所学特征的相对哈希码距离与其目标导出的距离相匹配。针对 (ii)，我们通过网络输出与二值目标分布之间 KL 散度的可微估计来解决，从而在特征被舍入为二值时信息损失最小。最后，我们通过关注一种分层精确率度量来解决 (iii)。该方法的有效性在 CIFAR-100、ImageNet 和 Conceptual Captions 数据集上利用从 WordNet 标签层次或句子嵌入推断的相似性进行了语义图像检索验证。