Spiking-PhysFormer：基于并行脉冲驱动 Transformer 的摄像头远程光电容积脉搏波描记法
计算机视觉与模式识别
2025-01-06 v4
摘要
人工神经网络（ANN）可以帮助基于摄像头的远程光电容积脉搏波描记法（rPPG）更准确地测量面部视频中的心脏活动和生理信号，如脉搏波、心率和呼吸率。然而，大多数现有的基于 ANN 的方法需要大量计算资源，这对在移动设备上的有效部署构成了挑战。另一方面，脉冲神经网络（SNN）由于其二进制和事件驱动的架构，在节能深度学习方面拥有巨大潜力。据我们所知，我们首次将 SNN 引入 rPPG 领域，提出了一种混合神经网络（HNN）模型 Spiking-PhysFormer，旨在降低功耗。具体而言，提出的 Spiking-PhysFormer 由基于 ANN 的补丁嵌入块、基于 SNN 的 Transformer 块和基于 ANN 的预测头组成。首先，为了简化 Transformer 块同时保留其聚合局部和全局时空特征的能力，我们设计了一个并行脉冲 Transformer 块来替代顺序子块。此外，我们提出了一种简化的脉冲自注意力机制，在不损害模型性能的情况下省略了值参数。在四个数据集（PURE、UBFC-rPPG、UBFC-Phys 和 MMPD）上进行的实验表明，与 PhysFormer 相比，所提出的模型功耗降低了 12.4%。此外，Transformer 块的功耗降低了 12.2 倍，同时保持了与 PhysFormer 及其他基于 ANN 的模型相当的性能。
引用
@article{arxiv.2402.04798,
title = {Spiking-PhysFormer: Camera-Based Remote Photoplethysmography with Parallel Spike-driven Transformer},
author = {Mingxuan Liu and Jiankai Tang and Yongli Chen and Haoxiang Li and Jiahao Qi and Siwei Li and Kegang Wang and Jie Gan and Yuntao Wang and Hong Chen},
journal= {arXiv preprint arXiv:2402.04798},
year = {2025}
}
备注
Mingxuan Liu and Jiankai Tang are co-first authors of the article. Accepted by Neural Networks