面向细粒度草图图像检索的主动学习
计算机视觉与模式识别
2023-09-19 v1
摘要
仅凭自由手绘草图即可检索照片的能力彰显了细粒度草图图像检索（FG-SBIR）的巨大潜力。然而，其快速的实际应用与可扩展性受到以下限制：为易获取的对应照片获取忠实草图的成本高昂。该问题的一个解决方案是主动学习，其可在最大化性能的同时最小化对标注草图的需求。尽管该领域已有广泛研究，却尚无工作利用主动学习来减少FG-SBIR任务中的绘图负担。为此，我们提出一种新颖的主动学习采样技术，大幅降低绘制照片草图的需求。我们提出的方法利用已有照片-草图对与无草图照片之间的关系，并以其中间表示增强该关系，从而应对不确定性与多样性之间的权衡。由于我们的方法仅依赖底层数据分布，其对建模方法保持不可知，因此也适用于其他跨模态实例级检索任务。通过在两个公开细粒度SBIR数据集ChairV2与ShoeV2上的实验，我们验证了方法并揭示其相对于适配基线的优越性。
引用
@article{arxiv.2309.08743,
title = {Active Learning for Fine-Grained Sketch-Based Image Retrieval},
author = {Himanshu Thakur and Soumitri Chattopadhyay},
journal= {arXiv preprint arXiv:2309.08743},
year = {2023}
}
备注
Accepted at BMVC 2023