用于噪声多标签跨模态检索的语义一致性双向对比哈希
计算机视觉与模式识别
2026-01-21 v2 人工智能
摘要
跨模态哈希（CMH）通过将数据编码为紧凑的二进制表示，来促进不同模态（例如图像和文本）之间的高效检索。虽然最近的方法在性能上取得了显著的成果，但它们往往严重依赖完整标注的数据集，而这类数据集获取成本高昂且耗时。在实际场景中，尤其是在多标签数据集中，标签噪声普遍存在，并且严重影响检索性能。此外，现有的CMH方法通常忽略了多标签数据中固有的部分语义重叠，这限制了其鲁棒性和泛化能力。为解决这些挑战，我们提出了一种名为语义一致性双向对比哈希（Semantic-Consistent Bidirectional Contrastive Hashing, SCBCH）的新型框架。该框架由两个互补模块组成：（1）跨模态语义一致分类（Cross-modal Semantic-Consistent Classification, CSCC），它利用跨模态语义一致性来估计样本可靠性，从而减少噪声标签的影响；（2）双向软对比哈希（Bidirectional Soft Contrastive Hashing, BSCH），它基于多标签语义重叠动态生成软对比样本对，使语义相似和不相似的样本在不同模态之间进行自适应对比学习。对四个广泛使用的跨模态检索基准进行大量实验验证，表明该方法在噪声多标签条件下有效且稳健，持续优于现有的领先方法。
引用
@article{arxiv.2511.07780,
title = {Semantic-Consistent Bidirectional Contrastive Hashing for Noisy Multi-Label Cross-Modal Retrieval},
author = {Likang Peng and Chao Su and Wenyuan Wu and Yuan Sun and Dezhong Peng and Xi Peng and Xu Wang},
journal= {arXiv preprint arXiv:2511.07780},
year = {2026}
}