基于图Transformer的零样本草图图像检索
计算机视觉与模式识别
2022-05-31 v2 机器学习
摘要
零样本草图图像检索（ZS-SBIR）任务的性能主要受两个挑战影响。需要弥合图像和草图特征之间巨大的域差距，同时必须巧妙地选择辅助信息。现有文献表明，改变语义辅助信息会极大地影响ZS-SBIR的性能。为此，我们提出了一种新颖的基于图Transformer的零样本草图图像检索（GTZSR）框架来解决ZS-SBIR任务，该框架使用一种新颖的图Transformer来保留语义空间中类别的拓扑结构，并在视觉空间的嵌入特征内传播类别的上下文图。为了弥合视觉特征之间的域差距，我们提出在一个学习到的域共享空间中最小化图像和草图之间的Wasserstein距离。我们还提出了一种新颖的兼容性损失，通过弥合一个类相对于训练集中所有其他类的域差距，进一步对齐两个视觉域。在扩展的Sketchy、TU-Berlin和QuickDraw数据集上获得的实验结果表明，在ZS-SBIR和广义ZS-SBIR任务中，该方法均比现有最先进方法有显著提升。
引用
@article{arxiv.2201.10185,
title = {Zero-Shot Sketch Based Image Retrieval using Graph Transformer},
author = {Sumrit Gupta and Ushasi Chaudhuri and Biplab Banerjee},
journal= {arXiv preprint arXiv:2201.10185},
year = {2022}
}
备注
Accepted at ICPR 2022