ConceptHash：通过概念发现实现可解释的细粒度哈希

现有的细粒度哈希方法通常缺乏代码可解释性，因为它们使用全局和局部特征整体性地计算哈希码位。为解决这一局限，我们提出了ConceptHash，一种实现子码级可解释性的新方法。在ConceptHash中，每个子码对应一个人类可理解的概念，如对象部件，这些概念无需人工标注即可自动发现。具体而言，我们利用Vision Transformer架构，引入概念标记作为视觉提示，并将图像块标记作为模型输入。每个概念随后在模型输出端映射到特定的子码，从而提供自然的子码可解释性。为捕捉高度相似的子类别（如鸟类物种）间的细微差异，我们融入语言引导，确保学习到的哈希码在细粒度对象类别内可区分，同时保持语义对齐。这种方法使我们能够生成在物种科内具有相似性、而在不同科之间保持区分的哈希码。在四个细粒度图像检索基准上的大量实验表明，ConceptHash显著优于先前方法，并提供了独特的子码可解释性作为额外优势。代码见：https://github.com/kamwoh/concepthash。