基于统一深度网络的跨媒体相似度度量学习
多媒体
2017-04-17 v1 机器学习
机器学习
摘要
作为多媒体领域的一个热点研究课题，跨媒体检索旨在捕捉多种媒体类型之间的复杂关联。为多媒体数据学习更好的共享表示和距离度量对于提升跨媒体检索至关重要。受深度神经网络在特征表示和比较函数学习方面强大能力的启发，我们提出了跨媒体相似度度量统一网络（UNCSM），在统一框架中将跨媒体共享表示学习与距离度量相关联。首先，我们设计了一个以对比损失预训练的双通路深度网络，并采用双三元组相似度损失进行微调，通过建模相对语义相似度来学习每种媒体类型的共享表示。其次，设计度量网络，通过建模成对相似与不相似约束，有效计算共享表示的跨媒体相似度。与现有方法大多忽略不相似约束且单独将样本距离度量用作欧氏距离不同，我们的 UNCSM 方法统一了表示学习与距离度量，以保留相对相似度，并采用更复杂的相似度函数进一步提升跨媒体检索精度。实验结果表明，我们的 UNCSM 方法在 4 个广泛使用的跨媒体数据集上优于 8 种最先进的方法。
引用
@article{arxiv.1704.04333,
title = {Cross-media Similarity Metric Learning with Unified Deep Networks},
author = {Jinwei Qi and Xin Huang and Yuxin Peng},
journal= {arXiv preprint arXiv:1704.04333},
year = {2017}
}
备注
19 pages, submitted to Multimedia Tools and Applications