面向跨模态零样本哈希的属性引导网络
计算机视觉与模式识别
2018-02-07 v1
摘要
零样本哈希旨在学习一个仅由可见类别样本训练、却能良好泛化至不可见类别样本的哈希模型。通常，它利用语义嵌入空间将知识从可见域迁移至不可见域。现有工作主要关注单模态检索任务，尤其是基于图像的图检索(IBIR)。然而，作为哈希领域的一个重点研究课题，跨模态检索在现实应用中更为常见。为应对跨模态零样本哈希(CMZSH)检索任务，我们提出了一种新颖的属性引导网络(AgNet)，其不仅能执行IBIR，还可执行基于文本的图像检索(TBIR)。具体而言，AgNet将不同模态数据对齐至语义丰富的属性空间，从而弥合由模态异质性与零样本设定所造成的鸿沟。我们还设计了一种有效策略，利用属性在同一网络内引导图像与文本哈希码的生成。在三个基准数据集(AwA、SUN和ImageNet)上的大量实验结果表明，AgNet在跨模态与单模态零样本图像检索任务上均具优越性。
引用
@article{arxiv.1802.01943,
title = {Attribute-Guided Network for Cross-Modal Zero-Shot Hashing},
author = {Zhong Ji and Yuxin Sun and Yunlong Yu and Yanwei Pang and Jungong Han},
journal= {arXiv preprint arXiv:1802.01943},
year = {2018}
}
备注
9 pages, 8 figures