基于标签属性嵌入的跨模态零样本哈希
计算机视觉与模式识别
2021-11-09 v1 人工智能
机器学习
多媒体
摘要
摘要：跨模态哈希（CMH）是跨模态近似最近邻搜索中最有前景的方法之一。大多数 CMH 方法理想化地假设训练集与测试集的标签相同。然而，该假设常被违背，从而引发零样本 CMH 问题。近期解决此问题的研究致力于利用标签属性将知识从可见类别迁移至不可见类别。然而，这些属性与多模态数据的特征相孤立。为缩小信息鸿沟，我们提出了一种称为 LAEH（用于零样本跨模态哈希的标签属性嵌入）的方法。LAEH 首先通过 word2vec 模型获得标签的初始语义属性向量，随后利用变换网络将其映射至公共子空间。接着，它借助哈希向量与特征相似度矩阵来引导不同模态的特征提取网络。同时，LAEH 利用属性相似度作为标签相似度的补充，以修正标签嵌入与公共子空间。实验表明，LAEH 优于相关的代表性零样本与跨模态哈希方法。
引用
@article{arxiv.2111.04080,
title = {Cross-modal Zero-shot Hashing by Label Attributes Embedding},
author = {Runmin Wang and Guoxian Yu and Lei Liu and Lizhen Cui and Carlotta Domeniconi and Xiangliang Zhang},
journal= {arXiv preprint arXiv:2111.04080},
year = {2021}
}
备注
7 pages, 2 figures