语义绑定的配对循环一致性用于任意样本素描图像检索
计算机视觉与模式识别
2020-06-23 v1 机器学习
摘要
低样本素描图像检索是计算机视觉中一项新兴任务，允许检索与训练阶段极少出现的素描查询相关的自然图像。相关先前工作要么需要昂贵的对齐素描-图像对，要么需要低效的内存融合层来将视觉信息映射到语义空间。在本文中，我们处理任意样本（即零样本和少样本）素描图像检索（SBIR）任务，其中我们引入了SBIR的少样本设置。为了解决这些任务，我们提出了一种语义对齐的配对循环一致性生成对抗网络（SEM-PCYC）用于任意样本SBIR，其中生成对抗网络的每个分支通过对抗训练将来自素描和图像的视觉信息映射到公共语义空间。每个分支保持循环一致性，仅需类别级别的监督，避免了对齐素描-图像对的需求。对生成器输出的分类标准确保视觉到语义空间的映射是类别特定的。此外，我们提出通过自编码器结合文本和层次侧信息，该自编码器在同一个端到端模型中选择区分性侧信息。我们的结果表明，在扩展版本的挑战性Sketchy、TU-Berlin和QuickDraw数据集上，任意样本SBIR性能相比现有技术有显著提升。
引用
@article{arxiv.2006.11397,
title = {Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based Image Retrieval},
author = {Anjan Dutta and Zeynep Akata},
journal= {arXiv preprint arXiv:2006.11397},
year = {2020}
}
备注
In International Journal of Computer Vision (IJCV) 2020 (17 pages, 12 figures, 5 tables). arXiv admin note: substantial text overlap with arXiv:1903.03372