PromptHash：用于自适应哈希检索的亲和度提示协作跨模态学习
计算机视觉与模式识别
2025-03-21 v1 人工智能
信息检索
多媒体
摘要
跨模态哈希是实现高效数据检索与存储优化的极具前景的方法。然而，现有方法在语义保持、上下文完整性和信息冗余方面存在显著局限，制约了检索效能。我们提出 PromptHash，一种利用亲和度提示感知协作学习进行自适应跨模态哈希的创新框架。我们提出了一个用于亲和度提示协作哈希的端到端框架，其核心技术创新包括： 文本亲和度提示学习机制，在保持参数效率的同时保留上下文信息； 自适应门控选择融合架构，将 State Space Model 与 Transformer 网络相结合，实现精确的跨模态特征整合； 提示亲和度对齐策略，通过分层对比学习弥合模态异构性。据我们所知，本研究首次探讨了协作跨模态自适应哈希学习中的亲和度提示感知，为增强跨模态语义一致性建立了新范式。通过在三个基准多标签数据集上的全面评估，PromptHash 相比现有方法展现出显著的性能提升。值得注意的是，在 NUS-WIDE 数据集上，该方法在图文检索和文图检索任务中分别取得了 18.22% 和 18.65% 的显著提升。代码已开源于 https://github.com/ShiShuMo/PromptHash。
引用
@article{arxiv.2503.16064,
title = {PromptHash: Affinity-Prompted Collaborative Cross-Modal Learning for Adaptive Hashing Retrieval},
author = {Qiang Zou and Shuli Cheng and Jiayi Chen},
journal= {arXiv preprint arXiv:2503.16064},
year = {2025}
}
备注
Accepted by CVPR2025