面向零样本草图跨模态图像检索的语义对抗网络
计算机视觉与模式识别
2019-10-21 v2
摘要
零样本草图跨模态图像检索（ZS-SBIR）是一种特定的跨模态检索任务，用于在零样本场景下以手绘草图检索自然图像。以往工作大多聚焦于建模图像与草图之间的对应关系或用草图特征合成图像特征。然而，二者均忽略了草图较大的类内方差，从而导致不令人满意的检索性能。在本文中，我们提出一种新颖的端到端语义对抗方法用于 ZS-SBIR。具体而言，我们设计了一个语义对抗模块，以最大化所学语义特征与类别级词向量之间的一致性。此外，为保持各训练类别内合成特征的可分性，对生成模块采用了三元组损失。另外，所提模型以端到端策略训练，以利用更适用于 ZS-SBIR 的语义特征。在两个大规模流行数据集上的大量实验表明，我们的方法在 Sketchy 数据集上比最先进方法高出逾 12%，在 TU-Berlin 数据集上高出约 3%。
引用
@article{arxiv.1905.02327,
title = {Semantic Adversarial Network for Zero-Shot Sketch-Based Image Retrieval},
author = {Xinxun Xu and Hao Wang and Leida Li and Cheng Deng},
journal= {arXiv preprint arXiv:1905.02327},
year = {2019}
}
备注
There is a big problem with the paper and I hope it can be retracted