ReViSe：基于智能手机摄像头的远程生命体征测量
计算机视觉与模式识别
2022-12-23 v2 人机交互
机器学习
图像与视频处理
信号处理
摘要
我们提出一种端到端框架，基于 rPPG 方法，利用智能手机摄像头捕获的用户面部视频，测量人们的生命体征，包括心率（HR）、心率变异性（HRV）、血氧饱和度（SpO2）和血压（BP）。我们通过基于深度学习的神经网络模型实时提取面部标志点。利用预测的面部标志点提取多个面部块（也称为感兴趣区域（RoIs））。应用若干滤波器以降低所提取的称为血容量脉搏（BVP）信号的心脏信号中来自 RoIs 的噪声。HR、HRV 和 SpO2 的测量在两个公开 rPPG 数据集（即 TokyoTech rPPG 和脉冲率检测（PURE）数据集）上进行了验证，我们的模型在前者上取得了如下平均绝对误差（MAE）：a）HR 为 1.73 次每分钟（bpm）和 3.95bpm；b）HRV 为 18.55ms 和 25.03ms；c）SpO2 在 PURE 数据集上为 1.64%。我们在日常起居环境中验证了我们的端到端 rPPG 框架 ReViSe，并由此创建了 Video-HR 数据集。我们的 HR 估计模型在该数据集上取得了 2.49bpm 的 MAE。由于不存在公开的用面部视频进行 BP 测量的 rPPG 数据集，我们使用来自指尖传感器的信号数据集训练我们基于深度学习的 BP 估计模型，并创建了我们自己的视频数据集 Video-BP。在我们的 Video-BP 数据集上，我们的 BP 估计模型对收缩期血压（SBP）取得了 6.7mmHg 的 MAE，对舒张期血压（DBP）取得了 9.6mmHg 的 MAE。ReViSe 框架已在日常起居环境中所录视频的数据集上得到验证，而非如多数最先进（state-of-the-art）技术所报道的噪声较小的实验室环境。
引用
@article{arxiv.2206.08748,
title = {ReViSe: Remote Vital Signs Measurement Using Smartphone Camera},
author = {Donghao Qiao and Amtul Haq Ayesha and Farhana Zulkernine and Raihan Masroor and Nauman Jaffar},
journal= {arXiv preprint arXiv:2206.08748},
year = {2022}
}