基于高斯过程潜变量模型的协调多模态学习
机器学习
2019-08-15 v1 计算机视觉与模式识别
信息检索
机器学习
摘要
多模态学习旨在发掘多模态间关系。因跨模态检索等广泛的多模态应用，其已成为重要研究课题。本文尝试基于高斯过程潜变量模型（GPLVMs）解决模态异质性问题，以在公共空间中表示多模态数据。既往多模态GPLVM扩展通常对潜表示与核超参数采用独立学习方案，忽视了其内在关联。为利用不同模态与GPLVM组件间强互补性，我们提出称为协调（Harmonization）的新学习方案，其中潜模型参数相互联合学习。超越现有研究广泛使用的关联拟合或模态内结构保持范式，该协调以模型驱动方式导出，以鼓励模态特定GP核间的一致性与潜表示的相似性。我们通过将协调机制引入若干代表性基于GPLVM的方法，提出一系列多模态学习模型。在四个基准数据集上的实验表明，所提模型在跨模态检索任务上优于强基线，且协调多模态学习法在发现语义一致潜表示上更优。
引用
@article{arxiv.1908.04979,
title = {Harmonized Multimodal Learning with Gaussian Process Latent Variable Models},
author = {Guoli Song and Shuhui Wang and Qingming Huang and Qi Tian},
journal= {arXiv preprint arXiv:1908.04979},
year = {2019}
}