面向远程生理信号检测的高效稳健多维注意力机制：基于目标信号受限分解

基于摄像头的远程生理信号检测技术为非侵入性生命体征监测在医疗和人机交互领域提供了变革性潜力。尽管深度学习方法已推动从视频数据中提取生理信号，但现有方法在鲁棒性评估方面仍不足。这些鲁棒性差异包括环境条件变化、摄像器材规格、头部运动、面部姿势以及生理状态变化，往往显著影响实际性能。跨数据集评估提供了客观衡量这些鲁棒性差异的手段。我们提出了目标信号受限分解模块（TSF），一种新型多维注意力机制，显式地将生理信号特征作为分解约束，以实现更精确的特征提取。基于此创新，我们提出了MMRPhys——一个高效的双分支3D-CNN架构，用于从多模态RGB和热视频输入中同时估计脉搏血氧饱和度（rPPG）和呼吸（rRSP）信号。通过在五个基准数据集上的全面跨数据集评估，我们展示了MMRPhys配合TSFM在rPPG和rRSP估计的跨域鲁棒性方面显著优于最先进的方法，同时保持最小的推理延迟，适用于实时应用。我们的方案为稳健的多任务和多模态生理感知树立了新的基准，并为在无约束环境中的实际部署提供了高效框架。基于Web浏览器的应用程序已实现MMRPhys模型的设备端实时推理，地址为https://physiologicailab.github.io/mmrphys-live。