面向跨模态检索的联合嵌入学习
信息检索
2019-08-22 v1 多媒体
摘要
跨模态检索过程是使用一种模态的查询来获取另一种模态中的相关数据。跨模态检索的挑战在于为相似度计算弥合异构鸿沟，这在图像-文本、音频-文本和视频-文本的跨模态多媒体数据挖掘与检索中已被广泛讨论。然而，由于不同时态跨模态结构间缺乏对齐关系，不同数据模态在时间结构上的鸿沟尚未得到很好解决。我们的研究聚焦于为跨模态检索任务学习不同模态间的相关性。我们提出了一种用于跨模态检索的架构：监督深度典型相关分析（S-DCCA）。在本论坛论文中，我们将讨论如何利用三元组神经网络（TNN）来增强跨模态检索的相关性学习。实验结果表明，当数据表示由监督学习提取时，所提出的基于 TNN 的监督相关性学习架构能取得最佳结果。
引用
@article{arxiv.1908.07673,
title = {Learning Joint Embedding for Cross-Modal Retrieval},
author = {Donghuo Zeng},
journal= {arXiv preprint arXiv:1908.07673},
year = {2019}
}
备注
3 pages, 1 figure, Submitted to ICDM2019 Ph.D. Forum session