用于无监督语义哈希的比特掩码鲁棒对比知识蒸馏

无监督语义哈希已成为快速图像搜索不可或缺的技术，其旨在不依赖标签将图像转换为二进制哈希码。该领域的最新进展表明，在无监督语义哈希模型中采用大规模骨干网络（如 ViT）可带来显著改进。然而，推理延迟已变得日益难以忽视。知识蒸馏提供了一种实用的模型压缩手段以缓解此延迟。尽管如此，现有的知识蒸馏方法并非专为语义哈希设计，它们忽略了语义哈希独特的搜索范式、蒸馏过程的内在需求以及哈希码的特性。本文提出了一种专为语义哈希模型蒸馏设计的创新方法：比特掩码鲁棒对比知识蒸馏（BRCD）。为确保语义哈希背景下两种搜索范式的有效性，BRCD 首先通过对比知识蒸馏目标对齐教师模型与学生模型之间的语义空间。此外，为消除噪声增强并确保鲁棒优化，我们在知识蒸馏过程中引入了一种基于聚类的方法。进一步地，通过比特级分析，我们揭示了由比特独立性属性导致的冗余比特存在。为减轻这些影响，我们在知识蒸馏目标中引入了比特掩码机制。最后，大量实验不仅展示了我们的 BRCD 方法相较于其他知识蒸馏方法的显著性能，还证实了该方法在不同语义哈希模型和骨干网络上的通用性。BRCD 代码见 https://github.com/hly1998/BRCD。