零样本草图-图像哈希
计算机视觉与模式识别
2018-03-07 v1
摘要
近期研究表明，大规模基于草图的图像检索（SBIR）可通过跨模态二值表示学习方法有效解决，其中汉明距离匹配显著加速了相似度搜索过程。现有前沿的SBIR与跨模态哈希工作提供受限于固定预定义类别集合的训练与测试数据，获得了可接受的检索性能。然而，当查询草图的类别在训练期间从未出现时，大多数现有方法失效。本文将上述问题简述为新颖且现实的零样本SBIR哈希任务。我们详述了该特殊任务的挑战，并相应提出零样本草图-图像哈希（ZSIH）模型。构建了端到端的三网络架构，其中两个作为二值编码器。第三个网络分别利用Kronecker融合层与图卷积缓解草图-图像异质性并增强数据间语义关系。作为ZSIH的重要部分，我们制定了生成式哈希方案以重构零样本检索的语义知识表示。据我们所知，ZSIH是首个适用于SBIR与跨模态搜索的零样本哈希工作。在Sketchy与TU-Berlin两个扩展数据集上采用新颖零样本训练-测试划分进行了综合实验。所提模型显著优于相关作品。
引用
@article{arxiv.1803.02284,
title = {Zero-Shot Sketch-Image Hashing},
author = {Yuming Shen and Li Liu and Fumin Shen and Ling Shao},
journal= {arXiv preprint arXiv:1803.02284},
year = {2018}
}
备注
Accepted as spotlight at CVPR 2018