用于基于视频的面部远程光电容积描记法估计的面向条件化面部纹理映射

基于摄像头的远程光电容积描记法（rPPG）实现了对脉搏率（PR）等重要生理信号的非接触式测量。然而，动态且无约束的受试者运动给视频中的面部外观带来了显著变异性，干扰了基于视频的方法准确提取rPPG信号的能力。在本研究中，我们利用3D面部表面构建了一种新颖的面向条件化面部纹理视频表示，提高了现有基于视频的面部rPPG估计方法的运动鲁棒性。我们提出的方法在MMPD上的跨数据集测试中取得了显著的18.2%的性能提升（相较于使用在PURE上训练的PhysNet模型的基线），突显了我们设计的视频表示的有效性和泛化优势。我们证明了在MMPD上的跨数据集测试中，在所有测试的运动场景下性能提升高达29.6%，即使在存在动态且无约束的受试者运动时也是如此，强调了通过建模3D面部表面解开运动以实现运动鲁棒的面部rPPG估计的益处。我们通过消融研究验证了设计决策的有效性以及不同视频处理步骤的影响。我们的研究结果阐明了利用3D面部表面作为解决视频中动态且无约束的受试者运动问题的一般策略的潜在优势。代码可在 https://samcantrill.github.io/orientation-uv-rppg/ 获取。