面向大规模细粒度图像检索的具有自一致性的属性感知深度哈希

我们的工作致力于解决大规模细粒度图像检索问题,即基于查询中的细粒度细节将描绘关注概念(即相同子类别标签)的图像排至最高。对于这一实用任务,亟需缓解细粒度特性带来的类间差异小、类内差异大以及细粒度数据爆炸式增长所带来的挑战。本文提出具有自一致性的属性感知哈希网络,用于生成属性感知哈希码,既提升检索效率,又建立哈希码与视觉属性间的显式对应。具体而言,基于注意力捕获的视觉表示,我们构建重构任务的编码器-解码器结构网络,在无属性标注情况下从无外观特定视觉表示中无监督蒸馏出高层属性特定向量。我们的模型还对这些属性向量施加特征去相关约束以增强其表示能力。随后,在保持原始实体相似性的驱动下,所需哈希码可由这些属性特定向量生成,从而具备属性感知性。此外,为应对深度哈希中的简单偏差,我们从自一致性原则视角考量模型设计,并提出通过增设图像重构路径进一步增强模型自一致性。在六个细粒度检索数据集与两个通用检索数据集上多种实证设置下的综合定量实验表明了我们的模型相对于对比方法的优越性。