面向零样本草图图像检索的三流联合网络
计算机视觉与模式识别
2022-04-13 v1
摘要
零样本草图图像检索（ZS-SBIR）是一项具有挑战性的任务，因为草图与自然图像之间存在较大的域差距，且已见类别与未见类别之间存在语义不一致。已有文献通过语义嵌入来桥接已见与未见类别，这需要确切类名的先验知识以及额外的提取工作。并且大多数工作通过使用构建的草图-图像对将草图和自然图像映射到共同的高层空间来缩小域差距，忽略了图像与草图之间未配对的信息。为解决这些问题，本文提出一种新颖的用于 ZS-SBIR 任务的三流联合训练网络（3JOIN）。为缩小草图与图像之间的域差异，我们为自然图像提取边缘图并将其作为图像与草图之间的桥梁，其内容与图像相似、风格与草图相似。为充分利用草图、自然图像与边缘图的组合，提出了一种新颖的三流联合训练网络。此外，我们使用教师网络在无其他语义辅助的情况下提取样本的隐式语义，并将学到的知识迁移到未见类别。在两个真实世界数据集上进行的大量实验证明了我们所提方法的优越性。
引用
@article{arxiv.2204.05666,
title = {Three-Stream Joint Network for Zero-Shot Sketch-Based Image Retrieval},
author = {Yu-Wei Zhan and Xin Luo and Yongxin Wang and Zhen-Duo Chen and Xin-Shun Xu},
journal= {arXiv preprint arXiv:2204.05666},
year = {2022}
}