利用无标注照片增强细粒度草图检索
计算机视觉与模式识别
2023-03-27 v1
摘要
本文推进了细粒度基于草图的图像检索（FG-SBIR）的研究，提出了一个强基线，其性能超越先前最优方法约11%。这并非通过复杂设计实现，而是解决了该领域面临的两个关键问题：（i）黄金标准三元组损失未强制整体潜在空间几何结构；（ii）从未有足够多的草图来训练高精度模型。针对前者，我们对标准三元组损失提出简单修改，显式地强制照片/草图实例间的分离。针对后者，我们提出一种新颖的知识蒸馏模块，可利用照片数据训练模型。两个模块随后被嵌入一个新颖的可插拔训练范式，以实现更稳定的训练。具体而言，对于（i），我们在草图间采用模态内三元组损失，使同一实例的草图彼此靠近而远离其他实例，并在照片间再采用一个损失，将不同照片实例推远同时将同一照片的结构增强版本拉近（带来约4-6%的提升）。为应对（ii），我们首先基于上述模态内照片三元组损失，在大量无标注照片上预训练一个教师模型。然后，通过匹配两个嵌入空间中各自样本间特征距离的分布，将教师嵌入空间中实例间存在的上下文相似性蒸馏到学生嵌入空间中（带来进一步约4-5%的提升）。除显著优于先前方法外，我们的模型在新类别泛化上也取得满意结果。项目页面：https://aneeshan95.github.io/Sketch_PVT/
引用
@article{arxiv.2303.13779,
title = {Exploiting Unlabelled Photos for Stronger Fine-Grained SBIR},
author = {Aneeshan Sain and Ayan Kumar Bhunia and Subhadeep Koley and Pinaki Nath Chowdhury and Soumitri Chattopadhyay and Tao Xiang and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2303.13779},
year = {2023}
}
备注
Accepted in CVPR 2023. Project page available at https://aneeshan95.github.io/Sketch_PVT/