具有多任务正则化的跨模态深度度量学习
机器学习
2017-04-06 v2 计算机视觉与模式识别
机器学习
摘要
基于深度神经网络（DNN）的跨模态检索已成为研究热点，用户可借此跨图像与文本等多种模态搜索结果。然而，现有方法主要关注有标签数据的成对相关性与重建误差。它们忽略了不同模态间语义相似与不相似约束，且无法利用无标签数据。本文提出具有多任务正则化的跨模态深度度量学习（CDMLMR），其集成了四元组排序损失与半监督对比损失，在统一的多任务学习架构中对跨模态语义相似性建模。四元组排序损失可对语义相似与不相似约束建模，以保留跨模态相对相似性排序信息。半监督对比损失能够最大化有标签与无标签数据上的语义相似性。与现有方法相比，CDMLMR不仅利用相似性排序信息，还利用无标签跨模态数据，从而提升了跨模态检索精度。
引用
@article{arxiv.1703.07026,
title = {Cross-modal Deep Metric Learning with Multi-task Regularization},
author = {Xin Huang and Yuxin Peng},
journal= {arXiv preprint arXiv:1703.07026},
year = {2017}
}
备注
Revision: Added reference [7] 6 pages, 1 figure, to appear in the proceedings of the IEEE International Conference on Multimedia and Expo (ICME), Jul 10, 2017 - Jul 14, 2017, Hong Kong, Hong Kong