CardiacMamba: 基于状态空间模型的多模态 RGB-RF 融合框架用于远程生理测量
计算机视觉与模式识别
2025-02-20 v1
摘要
通过远程光电容积脉搏波描记法（rPPG）进行心率（HR）估计，为健康监测提供了一种非侵入式解决方案。然而，由于光照变化、运动伪影和肤色偏差，传统的单模态方法（RGB 或射频（RF））在平衡稳健性与准确性方面面临挑战。在本文中，我们提出了 CardiacMamba，这是一种多模态 RGB-RF 融合框架，利用两种模态的互补优势。该框架引入了时间差分 Mamba 模块（TDMM），利用帧间时间差捕捉 RF 信号的动态变化，增强了局部和全局特征的提取。此外，CardiacMamba 采用双向 SSM 进行跨模态对齐，并采用逐通道快速傅里叶变换（CFFT）来有效捕捉和细化 RGB 与 RF 信号的频域特征，最终提升了心率估计的准确性与周期性检测。在 EquiPleth 数据集上的大量实验证明了其 SOTA 性能，在准确性和稳健性方面取得了显著提升。CardiacMamba 显著缓解了肤色偏差，减少了不同人口群体间的性能差异，并在模态缺失场景下保持鲁棒性。通过解决公平性、适应性和精度方面的关键挑战，该框架推动了 rPPG 技术向医疗保健领域中可靠的实际部署迈进。代码可在以下地址获取：https://github.com/WuZheng42/CardiacMamba。
关键词
引用
@article{arxiv.2502.13624,
title = {CardiacMamba: A Multimodal RGB-RF Fusion Framework with State Space Models for Remote Physiological Measurement},
author = {Zheng Wu and Yiping Xie and Bo Zhao and Jiguang He and Fei Luo and Ning Deng and Zitong Yu},
journal= {arXiv preprint arXiv:2502.13624},
year = {2025}
}