基于时空状态空间对偶的内存高效低延迟远程光电图谱法
计算机视觉与模式识别
2025-04-08 v2
摘要
远程光电图谱法（rPPG）通过分析面部光反射实现非接触式生理监测，但随着深度学习带来的性能提升，其计算需求却呈现严峻的瓶颈。本文提出ME-rPPG，一种基于时空状态空间对偶的数据高效算法，解决了模型可扩展性、跨数据集泛化和实时性三重难题。利用可迁移的状态空间，ME-rPPG高效捕捉面部帧之间微弱的周期性变化，同时保持最小的计算开销，支持长视频序列的训练并实现低延迟推理。在MMPD（5.38 MAE）、VitalVideo（0.70 MAE）和PURE（0.25 MAE）上的跨数据集测试中，ME-rPPG超越了所有基线方法，改进幅度达21.3%至60.2%。本方案实现实时推理，仅需3.6 MB内存，延迟为9.46毫秒——在准确率上超越现有方法19.5%-49.7%，在实际部署中的用户满意度提升43.2%。代码和演示已在https://health-hci-group.github.io/ME-rPPG-demo/上发布以便复现。
引用
@article{arxiv.2504.01774,
title = {Memory-efficient Low-latency Remote Photoplethysmography through Temporal-Spatial State Space Duality},
author = {Kegang Wang and Jiankai Tang and Yuxuan Fan and Jiatong Ji and Yuanchun Shi and Yuntao Wang},
journal= {arXiv preprint arXiv:2504.01774},
year = {2025}
}