基于深度多集典型相关的多模态表示学习
机器学习
2023-02-09 v1 信号处理
摘要
我们提出深度多集典型相关分析（dMCCA），作为当底层信号在多个（多于两个）模态上被观测时，使用CCA进行表示学习的扩展。我们利用深度学习框架学习从不同模态到共享子空间的非线性变换，使得表示最大化观测的模态间协方差与模态内协方差之比。与线性判别分析不同，我们无需类别信息来学习这些表示，并且我们展示了该模型可使用小批量（mini-batch）对复杂数据进行训练。利用合成数据实验，我们表明dMCCA能有效恢复被乘性与加性噪声污染的不同模态间的公共信号。我们还分析了模型在恢复相关分量时对小批量大小与嵌入维度的敏感性。在含噪手写数据集上的性能评估表明，我们的模型优于其他基于CCA的方法，并与在该数据集上端到端训练的深度神经网络模型相当。
引用
@article{arxiv.1904.01775,
title = {Multimodal Representation Learning using Deep Multiset Canonical Correlation},
author = {Krishna Somandepalli and Naveen Kumar and Ruchir Travadi and Shrikanth Narayanan},
journal= {arXiv preprint arXiv:1904.01775},
year = {2023}
}