基于双模态提示的草图图像检索
计算机视觉与模式识别
2024-04-30 v1
摘要
草图图像检索（SBIR）将手绘草图与其对应的真实图像关联起来。在本研究中，我们旨在同时解决该任务的两个主要挑战：i) 零样本，处理未见类别；ii) 细粒度，指类别内的实例级检索。我们的关键创新在于认识到仅从泛化角度解决这种跨类别和细粒度识别任务可能不足，因为从有限可见类别积累的知识可能不完全有价值或可迁移到未见目标类别。受此启发，本文提出了一种双模态提示CLIP（DP-CLIP）网络，其中设计了一种自适应提示策略。具体来说，为了促进DP-CLIP适应不可预测的目标类别，我们使用目标类别内的一组图像和文本类别标签分别构建一组类别自适应提示标记和通道尺度。通过整合生成的引导，DP-CLIP可以获得有价值的以类别为中心的见解，高效适应新类别，并捕获每个目标类别内用于有效检索的独特判别线索。通过这些设计，我们的DP-CLIP在Sketchy数据集上的Acc.@1比最先进的细粒度零样本SBIR方法高出7.3%。同时，在其他两个类别级零样本SBIR基准测试中，我们的方法也取得了有希望的性能。
引用
@article{arxiv.2404.18695,
title = {Dual-Modal Prompting for Sketch-Based Image Retrieval},
author = {Liying Gao and Bingliang Jiao and Peng Wang and Shizhou Zhang and Hanwang Zhang and Yanning Zhang},
journal= {arXiv preprint arXiv:2404.18695},
year = {2024}
}