VideoPulse: 基于面部视频的新生儿心率和外周(capillary)血氧饱和度（SpO2）估计

远程光电生理测量（Remote photoplethysmography, rPPG） enables contact free monitoring of vital signs and is especially valuable for neonates, since conventional methods often require sustained skin contact with adhesive probes that can irritate fragile skin and increase infection control burden。我们提出 VideoPulse，一个新生儿数据集和一个 end to end pipeline，用于从面部视频中估计新生儿心率和 peripheral capillary oxygen saturation（SpO2）。VideoPulse 包含 157 项记录，总计 2.6 小时，来自 52 名不同面部姿态的新生儿。我们的 pipeline 执行面部对齐和 artifact aware supervision using denoised pulse oximeter signals，然后应用 3D CNN 主干网络进行心率和 SpO2 回归，采用标签分布平滑和加权 SpO2 回归。预测以 2 秒窗口形式呈现。在 NBHR 新生儿数据集上，我们获得心率 MAE 2.97 bpm（2.80 bpm at 6 second windows）和 SpO2 MAE 1.69 percent。在 cross dataset evaluation 下，NBHR 训练的心率模型在 VideoPulse 上 attains 5.34 bpm MAE，fine tuning an NBHR pretrained SpO2 model on VideoPulse yields MAE 1.68 percent。这些结果表明，短时间不对齐的新生儿视频片段可以 support accurate heart rate and SpO2 estimation，从而 enable low cost non invasive monitoring in neonatal intensive care。