面向零样本草图跨模态图像检索的堆叠语义引导网络
计算机视觉与模式识别
2019-10-21 v2
摘要
零样本草图跨模态图像检索（ZS-SBIR）是在零样本情形下从自然图像库中用手绘草图进行跨域图像检索的任务。以往工作多聚焦于生成式方法，该方法以高度抽象且稀疏的草图作为输入，进而合成对应的自然图像。然而，草图固有的视觉稀疏性与较大的类内方差使得条件解码器的学习更为困难，从而检索性能不尽人意。本文中，我们提出一种新颖的堆叠语义引导网络，以应对 ZS-SBIR 中草图的独特特性。具体而言，我们设计了多层特征融合网络，将深度神经网络中不同的中间特征表示信息加以整合，以缓解草图固有的稀疏性。为改善从已见类到未见类的视觉知识迁移，我们精心构建了一个由粗到细的条件解码器：先（以辅助语义信息为条件输入）生成粗粒度的类别特定对应特征，再（以草图表示为条件输入）生成细粒度的实例特定对应特征。此外，我们分别利用回归损失与分类损失来保留合成特征的语义信息与判别信息。在大规模 Sketchy 数据集与 TU-Berlin 数据集上的大量实验表明，我们所提方法在检索性能上超越最先进方法逾 20%。
引用
@article{arxiv.1904.01971,
title = {Stacked Semantic-Guided Network for Zero-Shot Sketch-Based Image Retrieval},
author = {Hao Wang and Cheng Deng and Xinxu Xu and Wei Liu and Xinbo Gao and Dacheng Tao},
journal= {arXiv preprint arXiv:1904.01971},
year = {2019}
}
备注
withdraw this paper due to minor problem in problem defination