面向在线跨模态检索的轻量级对比蒸馏哈希

深度在线跨模态哈希最近受到研究者的广泛关注，因为其具有低存储需求、快速检索效率和跨模态自适应等优势。然而，仍存在一些技术瓶颈阻碍其应用，例如：1）如何提取跨模态数据的共存语义相关性，2）在处理实时数据流时如何实现竞争性能，3）如何以轻量级方式将离线学习到的知识迁移到在线训练中。为此，本文提出一种轻量级对比蒸馏哈希（LCDH）用于跨模态检索，通过在知识蒸馏框架中创新性地通过相似度矩阵近似来桥接离线和在线跨模态哈希。具体而言，在教师网络中，LCDH 首先通过对比语言-图像预训练（CLIP）提取跨模态特征，然后在特征融合后将其输入注意力模块进行表示增强。随后，注意力模块的输出输入全连接层，以对齐在线和离线训练中相似度矩阵的大小。对于学生网络，LCDH 通过轻量级模型提取视觉和文本特征，然后将特征输入全连接层生成二进制代码。最后，通过近似相似度矩阵，学生网络中轻量级的在线哈希性能可通过从教师网络提取的共存语义相关性监督而获得提升。在三个广泛使用的数据集上进行的实验结果表明，LCDH 在一些最先进的方法上都表现出色。