用于噪声鲁棒性成像的 Time-Series U-Net 循环结构

远程估计生命体征信号使我们能够在商业化、侵入性或昂贵的情况下进行健康监测。本文提出了一个模块化、可解释的管道，用于从面部视频中估计脉冲信号，在公开数据集上实现了最先进的成绩。我们的成像脉搏动力学 (iPPG) 系统包括三个模块：面部和 landmarks 检测、时间序列提取以及脉冲信号/脉搏率估计。不同于许多使用单个黑箱模型将输入视频直接映射到输出信号或心率的方法，我们的模块化方法使管道的三个部分能够单独解释。脉冲信号估计模块，我们称之为 TURNIP (Time-Series U-Net with Recurrence for Noise-Robust Imaging Photoplethysmography)，允许系统忠实地重建潜在的脉冲信号波形，并用于测量即使在存在运动的情况下的心率和脉搏率变异性指标。当面部因极端头部姿势而遮挡时，我们的系统显式检测此类 "自遮挡" 区域，并在缺失信息的情况下维持估计鲁棒性。我们的算法无需专用传感器或皮肤接触即可提供可靠的心率估计，在 color (RGB) 和 near-infrared (NIR) 数据集上均优于之前的 iPPG 方法。