迈向无监督的基于草图的图像检索
计算机视觉与模式识别
2022-11-21 v4
摘要
现有有监督的基于草图的图像检索（SBIR）算法的实用价值在很大程度上受限于密集数据收集和标注的需求。在本文中，我们首次尝试无监督 SBIR，以消除训练 conventionally 所需的标注成本（包括类别标注和草图-照片配对）。现有的单域无监督表示学习方法由于该问题独特的跨域（草图和照片）性质，在此应用中表现不佳。因此我们引入了一种新颖框架，同时执行草图-照片域对齐和语义感知表示学习。技术上，这由引入联合分布最优传输（JDOT）以对齐来自不同域的数据所支撑，我们将其扩展为可训练的聚类原型和特征记忆库，以进一步提升可扩展性和有效性。大量实验表明，我们的框架在新的无监督设定下取得了优异性能，并在零样本设定下表现与最先进方法相当或更优。
引用
@article{arxiv.2105.08237,
title = {Towards Unsupervised Sketch-based Image Retrieval},
author = {Conghui Hu and Yongxin Yang and Yunpeng Li and Timothy M. Hospedales and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2105.08237},
year = {2022}
}