用于多模态生物特征识别的广义双线性深度卷积神经网络
机器学习
2018-07-04 v1 机器学习
摘要
在本文中，我们提出采用一组专用于各模态的卷积神经网络（CNN），将它们融合、训练并联合优化以用于人员分类任务。每个模态使用一个专用于该模态的 CNN 来提取模态特定特征。我们证明，与在卷积层进行空间融合不同，可以在模态特定 CNN 的全连接层输出上进行融合而不损失任何性能，并显著减少参数数量。我们表明，使用多个 CNN 并在特征级进行多模态融合，我们的性能显著优于使用单模态表示的系统。我们研究了用于多模态生物特征人员识别的加权特征、双线性和紧凑双线性特征级融合算法。最后，我们提出广义紧凑双线性融合算法，以同时部署加权特征融合和紧凑双线性方案。我们在三个具有挑战性的数据库上给出了所提算法的结果：CMU Multi-PIE、BioCop 和 BIOMDATA。
引用
@article{arxiv.1807.01298,
title = {Generalized Bilinear Deep Convolutional Neural Networks for Multimodal Biometric Identification},
author = {Sobhan Soleymani and Amirsina Torfi and Jeremy Dawson and Nasser M. Nasrabadi},
journal= {arXiv preprint arXiv:1807.01298},
year = {2018}
}
备注
Accepted in 2018 IEEE International Conference on Image Processing