无数据基于草图的图像检索
计算机视觉与模式识别
2023-03-15 v1
摘要
对深度学习模型隐私与匿名性保护的日益关注促进了无数据学习（DFL）的研究。我们首次指出，对于像基于草图的图像检索（SBIR）这类数据稀缺任务，获取配对照片与手绘草图的困难限制了依赖数据的跨模态学习算法，DFL 可证明是一种更实用的范式。因此我们提出无数据（DF）-SBIR：与现有 DFL 问题不同，它必须利用预训练的单模态分类模型，在无法访问任何训练数据的情况下学习用于检索的跨模态度量空间。预训练分类模型的广泛可用性，以及 SBIR 中配对照片-草图数据集获取的困难，证明了该设定的实用性。我们给出了一种 DF-SBIR 方法，可利用独立训练用于照片与草图分类的模型中的知识。我们在 Sketchy、TU-Berlin 和 QuickDraw 基准上评估了我们的模型，基于最先进的 DFL 文献设计了多种基线，并观察到我们的方法以显著优势超越所有基线。我们的方法还取得了与依赖数据的方法相竞争的 mAP，且全程无需训练数据。实现见 \url{https://github.com/abhrac/data-free-sbir}。
引用
@article{arxiv.2303.07775,
title = {Data-Free Sketch-Based Image Retrieval},
author = {Abhra Chaudhuri and Ayan Kumar Bhunia and Yi-Zhe Song and Anjan Dutta},
journal= {arXiv preprint arXiv:2303.07775},
year = {2023}
}
备注
Computer Vision and Pattern Recognition (CVPR) 2023