适配与对齐：改进零样本草图图像检索
计算机视觉与模式识别
2023-08-10 v3 人工智能
摘要
零样本草图图像检索(ZS-SBIR)因草图与照片的跨域特性以及已见与未见图像分布间的语义鸿沟而具挑战性。以往方法利用各类侧信息与学习策略微调预训练模型，以学习草图与照片域共享且桥接已见与未见类别的紧凑特征空间。然而，这些努力在域适配及从已见到未见类的知识迁移上尚不充分。本文提出一种有效的“适配与对齐”方法来应对关键挑战。具体地，我们插入简单轻量的域适配器以学习草图域的新抽象概念并提升跨域表示能力。受近期图像-文本基础模型(如CLIP)在零样本场景进展的启发，我们显式地将所学图像嵌入与更具语义的文本嵌入对齐，以实现从已见到未见类所需的知识迁移。在三个基准数据集与两种流行骨干上的大量实验证明了我们的方法在检索精度与灵活性上的优越性。
引用
@article{arxiv.2305.05144,
title = {Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval},
author = {Shiyin Dong and Mingrui Zhu and Nannan Wang and Xinbo Gao},
journal= {arXiv preprint arXiv:2305.05144},
year = {2023}
}
备注
10 pages, 7 figures, 6 tables