面向零样本草图图像检索的域平滑网络
计算机视觉与模式识别
2021-06-23 v1
摘要
零样本草图图像检索（ZS-SBIR）是一项新颖的跨模态检索任务，其中使用抽象草图作为查询，在零样本场景下检索自然图像。大多数现有方法将 ZS-SBIR 视为传统分类问题，并采用交叉熵或基于三元组的损失来实现检索，忽视了草图与自然图像之间的域差距问题以及草图内较大的类内多样性。为此，我们提出了一种新颖的域平滑网络（DSN）用于 ZS-SBIR。具体而言，提出一种跨模态对比方法，通过挖掘附加增广样本的关系来学习广义表示以平滑域差距。此外，探索了一个带有草图特征的类别特定记忆库，以降低草图域中的类内多样性。大量实验表明，我们的方法在 Sketchy 和 TU-Berlin 数据集上显著优于最先进的方法。我们的源代码公开于 https://github.com/haowang1992/DSN。
引用
@article{arxiv.2106.11841,
title = {Domain-Smoothing Network for Zero-Shot Sketch-Based Image Retrieval},
author = {Zhipeng Wang and Hao Wang and Jiexi Yan and Aming Wu and Cheng Deng},
journal= {arXiv preprint arXiv:2106.11841},
year = {2021}
}
备注
Accepted to IJCAI 2021