CLIP 多模态哈希：一种新基线 CLIPMH
计算机视觉与模式识别
2023-08-24 v1 信息检索
多媒体
摘要
多模态哈希方法被广泛用于多媒体检索。它能够融合多源数据以生成二进制哈希码。然而，当前的多模态方法存在检索精度低的问题。原因在于各骨干网络特征表达能力有限，且未在大尺度无监督多模态数据上联合预训练。为解决该问题，我们提出了一种新基线 CLIP 多模态哈希（CLIPMH）方法。它使用 CLIP 模型提取文本与图像特征，再融合生成哈希码。CLIP 提升了各模态特征的表达能力。由此可大幅提升多模态哈希方法的检索性能。与最先进的无监督与有监督多模态哈希方法相比，实验表明所提 CLIPMH 能显著增强性能（最大提升 8.38%）。CLIP 相较此前常用的文本与视觉骨干网络也具有巨大优势。
引用
@article{arxiv.2308.11797,
title = {CLIP Multi-modal Hashing: A new baseline CLIPMH},
author = {Jian Zhu and Mingkai Sheng and Mingda Ke and Zhangmin Huang and Jingfei Chang},
journal= {arXiv preprint arXiv:2308.11797},
year = {2023}
}
备注
submit to ICASSP2024