涂鸦即搜索：实用的零样本草图图像检索
计算机视觉与模式识别
2020-08-20 v2
摘要
在本文中，我们研究零样本草图图像检索（ZS-SBIR）问题，其中使用人类草图作为查询来检索未见类别的照片。我们通过提出一种新颖的 ZS-SBIR 场景重要地推进了先前研究，该场景代表了其实际应用中的坚实一步。新设定独特地认识到实际 ZS-SBIR 中两个重要却常被忽视的挑战：（i）业余草图与照片之间的大领域鸿沟，以及（ii）迈向大规模检索的必要性。我们首先为社区贡献了一个新颖的 ZS-SBIR 数据集 QuickDraw-Extended，包含跨越 110 个类别的 330,000 张草图和 204,000 张照片。高度抽象的业余人类草图被有目的地获取以最大化领域鸿沟，而非现有数据集中常包含的半照片写实草图。然后我们构建了一个 ZS-SBIR 框架，将草图和照片联合建模到一个公共嵌入空间中。专门设计了一种挖掘领域间互信息的新策略以缓解领域鸿沟。进一步嵌入外部语义知识以辅助语义迁移。我们表明，相当令人惊讶的是，在现有数据集上，仅使用我们模型的精简版本即可显著超越最先进方法的检索性能。我们进一步通过在新建数据集上与若干替代方法比较，展示了我们完整模型的优越性能。新数据集以及我们模型的所有训练与测试代码将公开发布以促进未来研究。
引用
@article{arxiv.1904.03451,
title = {Doodle to Search: Practical Zero-Shot Sketch-based Image Retrieval},
author = {Sounak Dey and Pau Riba and Anjan Dutta and Josep Llados and Yi-Zhe Song},
journal= {arXiv preprint arXiv:1904.03451},
year = {2020}
}
备注
Oral paper in CVPR 2019