基于语义概念挖掘的无监督哈希
计算机视觉与模式识别
2022-09-26 v1 信息检索
摘要
近来，为提升无监督图像检索性能，大量无监督哈希方法通过设计基于预训练CNN模型提取的图像特征间相似度的语义相似度矩阵而被提出。然而，此类方法大多倾向于忽略图像中包含的高层抽象语义概念。直观上，概念在计算图像间相似度时起着重要作用。在真实场景中，每幅图像关联若干概念，若两图像共享更多相同概念，则其相似度更大。受上述直觉启发，本文提出一种新颖的基于语义概念挖掘的无监督哈希方法，称为UHSCM，其利用VLP模型构建高质量相似度矩阵。具体而言，首先收集一组随机选取的概念。随后，通过采用在视觉表征学习中已展现强大能力的带提示工程(prompt engineering)的视觉-语言预训练(VLP)模型，依据训练图像对该概念集去噪。接着，所提方法UHSCM再次应用带提示的VLP模型挖掘每幅图像的概念分布，并基于所挖掘的概念分布构建高质量语义相似度矩阵。最后，以该语义相似度矩阵为指导信息，提出一种带有基于修正对比损失的正则化项的新型哈希损失来优化哈希网络。在三个基准数据集上的大量实验表明，所提方法在图像检索任务中优于最先进的基线方法。
引用
@article{arxiv.2209.11475,
title = {Unsupervised Hashing with Semantic Concept Mining},
author = {Rong-Cheng Tu and Xian-Ling Mao and Kevin Qinghong Lin and Chengfei Cai and Weize Qin and Hongfa Wang and Wei Wei and Heyan Huang},
journal= {arXiv preprint arXiv:2209.11475},
year = {2022}
}