SiNC+: 基于相机的自适应生命体征信号与无监督学习的周期性信号

细微的周期性信号，如血容量脉搏和呼吸，可以从 RGB 视频中提取，从而实现低成本的非接触式健康监测。远程脉搏估计（remote photoplethysmography，rPPG）的进步目前正在由深度学习解决方案驱动。然而，现代方法是在来自基准数据集上的训练和评估，该数据集使用接触式 PPG 传感器获取真实标签。我们提出了首个用于信号回归的非对比式无监督学习框架，以缓解对标注视频数据的需求。通过对周期性和有限带宽的最小假设，本方法可直接从无标签视频中发现血容量脉搏。我们发现，仅通过鼓励正常生理带限内的稀疏功率谱以及功率谱在小批量数据集上的方差，即可学习到周期性信号的视觉特征。我们进行了首次实验，利用非专为 rPPG 设计的无标签视频数据训练鲁棒的脉搏率估计器。由于受限的归纳偏置，我们成功地将同一方法应用于基于相机的呼吸信号，通过调整目标信号的带限实现，从而表明该方法足够通用，可用于来自不同领域的带限准周期信号的无监督学习。此外，我们展示了该框架可用于对单个主体的无标签视频进行微调，从而实现个人化和自适应信号回归器。