面向多模态数据表示的跨模型卷积神经网络
机器学习
2016-11-22 v1
摘要
本文提出一种卷积神经网络 (CNN) 的新颖数据表示方法，用于表示不同模态的数据。我们为每种模态的数据学习一个 CNN 模型，将不同模态的数据映射到一个公共空间，并通过一个跨模型相关矩阵对公共空间中的新表示进行正则化。我们进一步要求数据点的类标签也能从该公共空间中的 CNN 表示预测得出。该学习问题被建模为一个最小化问题，并通过增广拉格朗日方法 (ALM) 结合交替方向乘子法 (ADMM) 的更新规则求解。在多种模态的序列数据基准上的实验显示了其优势。
引用
@article{arxiv.1611.06306,
title = {Cross-model convolutional neural network for multiple modality data representation},
author = {Yanbin Wu and Li Wang and Fan Cui and Hongbin Zhai and Baoming Dong and Jim Jing-Yan Wang},
journal= {arXiv preprint arXiv:1611.06306},
year = {2016}
}