一种用于基于草图的图像检索的零样本框架
计算机视觉与模式识别
2018-08-01 v1
摘要
基于草图的图像检索（SBIR）是从自然图像数据库中检索与给定手绘草图相对应的图像的任务。理想情况下，SBIR模型应学习将草图中的组件（如脚、尾巴等）与图像中具有相似形状特征的对应组件相关联。然而，当前的评估方法仅关注粗粒度评估，其重点在于检索与草图同属一类的图像，而不必具有与草图中相同的形状特征。因此，现有方法仅学习将草图与训练期间见过的类别相关联，从而无法泛化到未见过类别。本文提出一种用于零样本SBIR的新基准，其中模型在未训练时未见过的类别上进行评估。我们通过大量实验表明，在判别设定下训练的现有SBIR模型仅学习特定于类的映射，无法泛化到所提零样本设定。为规避此问题，我们提出一种生成式SBIR方法，通过提出以草图为输入并随机填补缺失信息的深度条件生成模型。在由“Sketchy”数据集（一个大规模草图-照片对数据库）创建的该新基准上的实验表明，这些生成式模型在所提粗粒度SBIR任务零样本框架中的性能显著优于多种最先进方法。
引用
@article{arxiv.1807.11724,
title = {A Zero-Shot Framework for Sketch-based Image Retrieval},
author = {Sasi Kiran Yelamarthi and Shiva Krishna Reddy and Ashish Mishra and Anurag Mittal},
journal= {arXiv preprint arXiv:1807.11724},
year = {2018}
}
备注
Accepted in ECCV 2018, Munich Germany