面向聚焦图像检索的提示引导注意力头选择
计算机视觉与模式识别
2025-04-03 v1 信息检索
摘要
本文旨在通过视觉提示增强预训练的视觉转换器（ViT）模型，以实现聚焦图像检索。在实际的图像检索场景中，查询图像和数据库图像常常具有复杂性，包含多个对象和复杂背景。用户往往希望检索包含特定对象的图像，我们将此定义为聚焦图像检索（FOIR）任务。虽然可以采用标准图像编码器提取图像特征进行相似度匹配，但在基于多对象的 FOIR 任务中可能性能不佳。这是因为每张图像由单个全局特征向量表示。为此，需要一种基于提示的图像检索方案。我们提出一种称为提示引导注意力头选择（PHS）的方法，通过匹配其注意力图与用户视觉提示（如点、框或分割）来选择 ViT 中特定注意力头，从而实现对感兴趣对象的聚焦，同时保留周围视觉上下文。值得注意的是，PHS 不需要模型重新训练，也无需对图像进行任何修改。实验结果表明，PHS 在多个数据集上显著提升了性能，为 FOIR 任务提供了一种实用且无需训练的解决方案。
引用
@article{arxiv.2504.01348,
title = {Prompt-Guided Attention Head Selection for Focus-Oriented Image Retrieval},
author = {Yuji Nozawa and Yu-Chieh Lin and Kazumoto Nakamura and Youyang Ng},
journal= {arXiv preprint arXiv:2504.01348},
year = {2025}
}
备注
Accepted to CVPR 2025 PixFoundation Workshop