使用深度展开和深度均衡模型从视频中恢复脉冲波
计算机视觉与模式识别
2025-03-24 v1 图像与视频处理
摘要
基于摄像机的生命体征监测,也称为成像脉搏光谱学(iPPG),已在司机监控、手术中的血流评估、情感计算等方面得到应用。iPPG涉及从皮肤视频中感知心脏脉搏,并估计生命体征,如心率或完整的脉搏波形。一些先前的iPPG方法对脉冲信号施加基于模型的稀疏先验,并使用迭代优化进行脉冲波恢复;另一些方法则使用端到端的黑箱深度学习方法。相比之下,我们引入的方法结合了信号处理和深度学习方法,构建在逆问题框架中。我们的 методs通过学习基于深度网络的去噪算子来估计底层脉冲信号和心率,这些算子利用深度算法展开和深度均衡模型。实验表明,我们的方法能够对面部获取的信号进行去噪并推断正确的脉搏率,在著名基准测试中实现了最先进的心率估计性能,而且仅需比最近最佳方法少于五分之一的可学习参数。
引用
@article{arxiv.2503.17269,
title = {Recovering Pulse Waves from Video Using Deep Unrolling and Deep Equilibrium Models},
author = {Vineet R Shenoy and Suhas Lohit and Hassan Mansour and Rama Chellappa and Tim K. Marks},
journal= {arXiv preprint arXiv:2503.17269},
year = {2025}
}
备注
13 pages, 9 figures