使用来自不同身体部位的视频和目标训练rPPG模型的次优性?
图像与视频处理
2024-03-19 v1 机器学习
摘要
远程相机测量通过光电容积脉搏（rPPG）获取血容量脉搏，这是一种具有可扩展性、低成本和可接近性的心血管信息评估技术。神经网络目前为此任务提供了最佳方法，而监督训练或微调是创建这些模型的重要步骤。然而，大多数当前模型是在使用来自手指的接触PPG测量作为目标/标签来训练面部视频的。少数公共数据集包含面部的接触PPG测量，这就是其原因。然而，有大量证据表明，身体不同部位的PPG信号具有非常不同的形态特征。是否使用来自身体另一部位的接触测量训练面部视频rPPG模型是次优的？使用最近发布的独特数据集，我们可以获得来自手和面部的同步接触PPG和视频测量，从而提供精确且量化的答案。我们发现，使用来自前额的PPG信号训练的状态-of-the-art神经模型，与使用指尖PPG信号相比，预测 waveforms 与 ground truth PPG信号之间的均方误差可降低最高40%。我们还定性地表明，神经模型在使用前额PPG信号训练时，更能较好地学习ground truth PPG信号的形态。然而，尽管使用前额PPG训练的模型产生更忠实的波形，但使用指尖PPG训练的模型仍能良好地学习 dominant frequency（即心率）。
引用
@article{arxiv.2403.10582,
title = {How Suboptimal is Training rPPG Models with Videos and Targets from Different Body Sites?},
author = {Björn Braun and Daniel McDuff and Christian Holz},
journal= {arXiv preprint arXiv:2403.10582},
year = {2024}
}