RhythmMamba：快速、轻量且准确的远程生理测量
计算机视觉与模式识别
2025-02-25 v2
摘要
远程光电容积描记术（rPPG）是一种从面部视频中非接触式测量生理信号的方法，在医疗保健、情感计算和反欺骗等应用中具有巨大潜力。现有的深度学习方法难以同时解决rPPG的两个核心问题：理解长上下文中rPPG的周期模式以及处理视频片段中的大时空冗余。这代表了计算复杂度和捕获长距离依赖能力之间的权衡。在本文中，我们介绍了RhythmMamba，一种基于状态空间模型的方法，在保持线性复杂度的同时捕获长距离依赖。通过将rPPG视为通过所提出的帧茎的时间序列任务，脉搏波的周期性变化被建模为状态转换。此外，我们设计了多时间约束和频域前馈，两者都与rPPG时间序列的特性一致，以提高Mamba对rPPG信号的学习能力。大量实验表明，RhythmMamba以319%的吞吐量和23%的峰值GPU内存实现了最先进的性能。代码可在https://github.com/zizheng-guo/RhythmMamba获取。
引用
@article{arxiv.2404.06483,
title = {RhythmMamba: Fast, Lightweight, and Accurate Remote Physiological Measurement},
author = {Bochao Zou and Zizheng Guo and Xiaocheng Hu and Huimin Ma},
journal= {arXiv preprint arXiv:2404.06483},
year = {2025}
}