基于时空增强损失的自监督表示学习框架用于远程生理测量

近期监督深度学习方法的进展使得利用人脸视频远程测量基于光电容积描记的生理信号成为可能。然而，这些监督方法的性能依赖于大量标注数据的可用性。对比学习作为一种自监督方法，近期通过最大化不同增强视图间的互信息，在学习代表性数据特征方面取得了最先进的性能。但现有的对比学习数据增强技术并非为从视频中学习生理信号而设计，在视频帧间存在复杂噪声以及细微且周期性的颜色或形状变化时往往失效。为解决这些问题，我们提出了一种新颖的自监督时空学习框架，用于标注训练数据匮乏的远程生理信号表示学习。首先，我们提出一种基于关键点的空间增强，依据 Shafer 双色反射模型将人脸分割为若干信息丰富的区域，以刻画细微的肤色波动。我们还构建了基于稀疏性的时间增强，利用奈奎斯特-香农采样定理，通过对生理信号特征建模来有效捕获周期性时间变化。此外，我们引入了一种约束性时空损失，为增强的视频片段生成伪标签，用于调节训练过程并处理复杂噪声。我们在 3 个公开数据集上评估了我们的框架，证明了其优于其他自监督方法，并取得了与最先进监督方法相竞争的精度。