长尾跨模态哈希
信息检索
2022-11-29 v1 计算与语言
计算机视觉与模式识别
机器学习
摘要
现有的跨模态哈希（CMH）方法主要针对平衡数据设计，而现实世界中更普遍的是具有长尾分布的不平衡数据。已有几种长尾哈希方法被提出，但由于标签与多模态数据的个体性及共性信息之间复杂的相互作用，它们无法适应多模态数据。此外，CMH方法大多挖掘多模态数据的共性来学习哈希码，这可能会覆盖由各模态个体性编码的尾部标签。本文中，我们提出LtCMH（长尾跨模态哈希）来处理不平衡的多模态数据。LtCMH首先采用自编码器，通过最小化各模态个体性之间的依赖性并增强这些模态的共性，来挖掘不同模态的个体性和共性。然后，它将个体性和共性与从各模态提取的直接特征动态结合，创建元特征以丰富尾部标签的表示，并将元特征二值化以生成哈希码。LtCMH在长尾数据集上显著优于最先进的基线方法，并在平衡标签的数据集上保持更好（或相当）的性能。
引用
@article{arxiv.2211.15162,
title = {Long-tail Cross Modal Hashing},
author = {Zijun Gao and Jun Wang and Guoxian Yu and Zhongmin Yan and Carlotta Domeniconi and Jinglin Zhang},
journal= {arXiv preprint arXiv:2211.15162},
year = {2022}
}
备注
Accepted by the Thirty-Seventh AAAI Conference on Artificial Intelligence(AAAI2023)