基于零样本草图的图像检索与结构感知非对称解耦
计算机视觉与模式识别
2020-09-21 v2
摘要
基于草图的图像检索（SBIR）的目标是使用自由手绘草图从自然图像库中检索同一类别的图像。然而，SBIR 要求所有测试类别在训练时均被见过，这在实际应用中无法保证。因此我们研究更具挑战性的零样本 SBIR（ZS-SBIR），其中测试类别在训练阶段不出现。在认识到草图主要包含结构信息而图像包含额外外观信息后，我们尝试通过非对称解耦实现结构感知检索。为此，我们提出 STRucture-aware Asymmetric Disentanglement（STRAD，结构感知非对称解耦）方法，其中图像特征被解耦为结构特征和外观特征，而草图特征仅被投影到结构空间。通过解耦结构与外观空间，在草图域与图像域之间执行双向域翻译。大量实验表明，我们的 STRAD 方法在三个大规模基准数据集上显著优于最先进的方法。
引用
@article{arxiv.1911.13251,
title = {Zero-Shot Sketch-Based Image Retrieval with Structure-aware Asymmetric Disentanglement},
author = {Jiangtong Li and Zhixin Ling and Li Niu and Liqing Zhang},
journal= {arXiv preprint arXiv:1911.13251},
year = {2020}
}