基于摄像头的 PPG 与指纹融合的多模态生物识别认证
计算机视觉与模式识别
2024-12-10 v1
摘要
基于智能手机摄像头获取的照片测脉生理信号(PPG)在个性化健康监测与安全认证方面展现出巨大潜力。本文提出一种多模态生物识别系统，将从视频中提取的 PPG 信号与指纹数据融合，以增强用户验证的准确性。该系统要求用户将指尖置于摄像头镜头下几秒钟，以便捕获和处理独特的生物特征。我们的方案采用包含两个结构化状态空间模型(SSM) 编码器的神经网络，以处理不同模态的数据。指纹图像被转换为像素序列，随后与分段的 PPG 波形一起输入编码器。随后通过跨模态注意力机制提取精细的特征表示，并采用分布导向的对比损失函数将这些特征在统一的潜在空间中对齐。实验结果表明，在单次会话和双次会话认证场景中，该系统在各种评估指标上均表现出优异的性能。
引用
@article{arxiv.2412.05660,
title = {Multimodal Biometric Authentication Using Camera-Based PPG and Fingerprint Fusion},
author = {Xue Xian Zheng and M. M. Ur Rahma and Bilal Taha and Mudassir Masood and Dimitrios Hatzinakos and Tareq Al-Naffouri},
journal= {arXiv preprint arXiv:2412.05660},
year = {2024}
}