用于RGB-D物体识别的相关与独立多模态深度学习
计算机视觉与模式识别
2016-12-12 v3
摘要
本文提出一种用于RGB-D物体识别的新型相关与独立多模态深度学习(CIMDL)方法。与大多数从RGB和深度通道分别提取特征的常规RGB-D物体识别方法不同，我们的CIMDL利用一对深度神经网络从原始RGB-D数据中联合学习特征表示，从而能够同时利用可共享信息与模态特有信息。具体而言，我们为RGB和深度数据构建了一对深度卷积神经网络(CNN)，并在网络顶层将它们拼接，配合一个损失函数，该函数学习一个新的特征空间，其中RGB-D信息的相关部分与独立部分均得到良好建模。整个网络的参数通过使用反向传播准则进行更新。在两个广泛使用的RGB-D物体图像基准数据集上的实验结果清楚表明，我们的方法优于当前最优(state-of-the-art)方法。
引用
@article{arxiv.1604.01655,
title = {Correlated and Individual Multi-Modal Deep Learning for RGB-D Object Recognition},
author = {Ziyan Wang and Jiwen Lu and Ruogu Lin and Jianjiang Feng and Jie zhou},
journal= {arXiv preprint arXiv:1604.01655},
year = {2016}
}
备注
11 pages, 7 figures, submitted to a conference in 2016