基于通道空间注意力的手指多模态特征融合与识别
计算机视觉与模式识别
2022-09-07 v1
摘要
由于单模态生物识别系统的不稳定性和局限性，多模态系统越来越受到研究人员的关注。然而，如何挖掘不同模态之间的独立与互补信息仍是一个关键且具有挑战性的问题。本文提出一种基于指纹和指静脉的多模态生物特征融合识别算法（指纹指静脉-通道空间注意力融合模块，FPV-CSAFM）。具体而言，对于每对指纹和指静脉图像，我们首先提出一种简单有效的卷积神经网络（CNN）来提取特征。然后，我们构建多模态特征融合模块（通道空间注意力融合模块，CSAFM）以充分融合指纹与指静脉之间的互补信息。与现有融合策略不同，我们的融合方法可根据不同模态在通道和空间维度上的重要性动态调整融合权重，从而更好地结合不同模态间的信息并提升整体识别性能。为评估方法性能，我们在多个公开数据集上进行了一系列实验。实验结果表明，所提FPV-CSAFM在三个基于指纹和指静脉的多模态数据集上取得了优异的识别性能。
引用
@article{arxiv.2209.02368,
title = {Finger Multimodal Feature Fusion and Recognition Based on Channel Spatial Attention},
author = {Jian Guo and Jiaxiang Tu and Hengyi Ren and Chong Han and Lijuan Sun},
journal= {arXiv preprint arXiv:2209.02368},
year = {2022}
}