PhysMamba：基于慢快时空差 Mamba 的高效远程生理测量
计算机视觉与模式识别
2024-09-19 v1
摘要
基于面部视频的远程光电容积图谱（rPPG）旨在无需接触地测量生理信号并监测心脏活动，展现出广泛的应用潜力。以往基于深度学习的 rPPG 测量主要依赖 CNN 和 Transformer。然而，CNN 的受限感受野限制了其捕获长程时空依赖的能力，而 Transformer 也在处理高复杂度视频序列时表现不佳。最近，代表性 SSM（状态空间模型）如 Mamba 以卓越的处理长序列长程依赖能力而著称。本文提出了 PhysMamba，一种基于 Mamba 的框架，用于高效地从面部视频中表示长程生理依赖性。具体而言，我们引入时空差 Mamba 模块，以增强局部动态差异并进一步建模长程时空语境。此外，采用双流慢快架构来融合多尺度时空特征。我们在三个基准数据集上进行大量实验，展示了 PhysMamba 在性能和效率方面的优势。代码已公开于 https://github.com/Chaoqi31/PhysMamba。
引用
@article{arxiv.2409.12031,
title = {PhysMamba: Efficient Remote Physiological Measurement with SlowFast Temporal Difference Mamba},
author = {Chaoqi Luo and Yiping Xie and Zitong Yu},
journal= {arXiv preprint arXiv:2409.12031},
year = {2024}
}
备注
Accepted by CCBR 2024