基于视频的生理信号非对比无监督学习

诸如血容量脉冲和呼吸等细微周期信号可从 RGB 视频中提取，从而实现低成本的远程健康监测。远程脉冲估计——或称远程光体积描记法 (rPPG)——的进展目前由深度学习方案推动。然而，现代方法是在带有接触式 PPG 传感器所得真值的基准数据集上训练与评估的。我们提出了首个用于信号回归的非对比无监督学习框架，以摆脱标记视频数据的约束。在对周期性和有限带宽的最小假设下，我们的方法能够直接从无标记视频中发现血容量脉冲。我们发现，在正常生理频带内鼓励稀疏功率谱以及功率谱批次间的方差，足以学习周期信号的视觉特征。我们开展了首批利用非专为 rPPG 创建的无标记视频数据来训练鲁棒脉冲率估计器的实验。鉴于有限的归纳偏置与令人印象深刻的实证结果，该方法在理论上能够从视频中发现其他周期信号，从而实现多种生理测量而无需真值信号。用于完整复现实验的代码随论文一并公开。