从卷积神经网络提取多级特征抽象用于多模态生物识别
机器学习
2018-07-05 v1 机器学习
摘要
本文中，我们提出一种深度多模态融合网络，以融合多种模态（人脸、虹膜与指纹）进行人员识别。所提深度多模态融合算法由多支模态专用卷积神经网络（CNNs）组成，这些网络在多个特征抽象层级联合优化。从每个模态专用 CNN 的若干不同卷积层提取多种特征用于联合特征融合、优化与分类。从模态专用 CNN 不同卷积层提取的特征表征了输入在若干不同层级抽象表示上的信息。我们证明，通过利用从所有模态专用 CNN 提取的这些多级抽象表示，可以以网络参数数量的显著减少实现高效的多模态分类。我们证明，在我们的多模态融合中利用所提多级特征抽象表示，而非仅使用各模态专用 CNN 最后一层特征，可提升多模态人员识别性能。我们表明，具有在若干不同特征抽象层级进行多模态融合的深度多模态 CNN 可显著优于单模态表示精度。我们也证明，所有模态专用 CNN 的联合优化优于独立优化 CNN 的分数级与决策级融合。
引用
@article{arxiv.1807.01332,
title = {Multi-Level Feature Abstraction from Convolutional Neural Networks for Multimodal Biometric Identification},
author = {Sobhan Soleymani and Ali Dabouei and Hadi Kazemi and Jeremy Dawson and Nasser M. Nasrabadi},
journal= {arXiv preprint arXiv:1807.01332},
year = {2018}
}
备注
Accepted in "2018 International Conference on Pattern Recognition"