面向多查询图像检索的层次化匹配与推理
计算机视觉与模式识别
2024-08-22 v1
摘要
作为一个有前景的领域，多查询图像检索（MQIR）旨在给定多个区域特定文本查询时搜索语义相关图像。现有工作主要关注图像区域与文本查询之间的单层相似性，忽略了多层次相似性的层次化引导并导致不对齐不完整。此外，内在连接不同区域-查询对的高层语义关联很少被考虑。为克服上述局限，我们提出一种用于 MQIR 的新型层次化匹配与推理网络（HMRN）。它将 MQIR 解耦为三种层次化语义表示，分别负责捕获细粒度局部细节、上下文全局范围以及高层内在关联。HMRN 包含两个模块：基于标量的匹配（SM）模块与基于向量的推理（VR）模块。具体而言，SM 模块刻画多层次对齐相似性，由细粒度局部级相似性与上下文感知全局级相似性组成。随后，VR 模块被开发以挖掘多个区域-查询对间的潜在语义关联，进一步探索高层推理相似性。最后，这三层相似性被聚合进联合相似性空间以形成最终相似性。在基准数据集上的大量实验表明，我们的 HMRN 大幅超越当前最先进方法。例如，与现有最佳方法 Drill-down 相比，最后一轮的 R@1 指标提升了 23.4%。我们的源代码将于 https://github.com/LZH-053/HMRN 发布。
引用
@article{arxiv.2306.14460,
title = {Hierarchical Matching and Reasoning for Multi-Query Image Retrieval},
author = {Zhong Ji and Zhihao Li and Yan Zhang and Haoran Wang and Yanwei Pang and Xuelong Li},
journal= {arXiv preprint arXiv:2306.14460},
year = {2024}
}