WAD-CMSN：基于 Wasserstein 距离的交叉模态语义网络用于零样本草图图像检索
计算机视觉与模式识别
2022-02-14 v1
摘要
零样本草图图像检索（ZSSBIR）作为计算机视觉中备受关注的研究分支，近来广受瞩目。与草图图像检索（SBIR）不同，ZSSBIR 的主要目标是给定训练时可能未出现过的自由手绘草图来检索自然图像。以往方法使用语义对齐的草图-图像对，或利用高内存消耗的融合层将视觉信息投影至低维子空间，忽略了高度抽象的草图与相关图像之间显著的异质跨域差异。这可能导致训练阶段性能不佳。为解决此问题并克服该缺陷，我们提出一种基于 Wasserstein 距离的交叉模态语义网络（WAD-CMSN）用于 ZSSBIR。具体而言，它首先通过对抗训练方式，借助 Wasserstein 距离将各分支（草图、图像）的视觉信息投影至公共低维语义子空间。此外，采用身份匹配损失筛选有用特征，既能捕获完整语义知识，又可缓解 WAD-CMSN 模型引起的过拟合现象。在具有挑战性的 Sketchy（Extended）与 TU-Berlin（Extended）数据集上的实验结果表明，所提 WAD-CMSN 模型优于若干对比方法。
引用
@article{arxiv.2202.05465,
title = {WAD-CMSN: Wasserstein Distance based Cross-Modal Semantic Network for Zero-Shot Sketch-Based Image Retrieval},
author = {Guanglong Xu and Zhensheng Hu and Jia Cai},
journal= {arXiv preprint arXiv:2202.05465},
year = {2022}
}