用于零样本基于草图图像检索的语义绑定成对循环一致性
计算机视觉与模式识别
2019-03-11 v1
摘要
零样本基于草图图像检索 (SBIR) 是计算机视觉中的一项新兴任务，旨在检索与训练阶段可能未见过的草图查询相关的自然图像。现有工作要么需要配对的草图-图像对，要么需要低效的内存融合层来将视觉信息映射到语义空间。在本工作中，我们提出了一种用于零样本 SBIR 的语义对齐成对循环一致生成 (SEM-PCYC) 模型，其中每个分支通过对抗训练将视觉信息映射到一个公共语义空间。每个分支都保持循环一致性，仅需要类别级别的监督，并避免了对昂贵的配对草图-图像对的需求。生成器输出上的分类准则确保了从视觉空间到语义空间的映射具有判别性。此外，我们提出通过特征选择自编码器结合文本和分层侧信息，在同一个端到端模型内选择具有判别性的侧信息。我们的结果表明，在具有挑战性的 Sketchy 和 TU-Berlin 数据集上，零样本 SBIR 的性能相比 state-of-the-art 有了显著提升。
引用
@article{arxiv.1903.03372,
title = {Semantically Tied Paired Cycle Consistency for Zero-Shot Sketch-based Image Retrieval},
author = {Anjan Dutta and Zeynep Akata},
journal= {arXiv preprint arXiv:1903.03372},
year = {2019}
}
备注
IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2019