基于自监督学习的人脸视频远程生理测量
计算机视觉与模式识别
2023-07-25 v3
摘要
基于人脸视频的远程生理测量旨在从人脸视频中估计远程光电容积描记 (rPPG) 信号，然后从 rPPG 信号中测量多种生命体征（例如心率、呼吸频率）。近期方法通过训练深度神经网络来实现这一目标，这通常需要大量的人脸视频和同步记录的光电容积描记 (PPG) 信号作为监督。然而，在实际中收集这些标注语料库并非易事。本文引入了一种新颖的频率启发式自监督框架，该框架无需真实 PPG 信号即可从人脸视频中学习估计 rPPG 信号。给定一个视频样本，我们首先将其增强为多个正/负样本，这些样本包含与原始样本相似/不相似的信号频率。具体而言，正样本通过空间增强生成。负样本通过一个可学习的频率增强模块生成，该模块对输入执行非线性信号频率变换，而不过度改变其视觉外观。接下来，我们引入一个局部 rPPG 专家聚合模块，从增强样本中估计 rPPG 信号。它编码来自不同人脸区域的互补脉动信息，并将其聚合为一个 rPPG 预测。最后，我们提出了一系列频率启发式损失函数，即频率对比损失、频率比一致性损失和跨视频频率一致性损失，用于优化从多个增强视频样本和跨时间相邻视频样本估计的 rPPG 信号。我们在四个标准基准上进行了基于 rPPG 的心率、心率变异性和呼吸频率估计。实验结果表明，我们的方法大幅提升了当前最优水平。
引用
@article{arxiv.2210.15401,
title = {Facial Video-based Remote Physiological Measurement via Self-supervised Learning},
author = {Zijie Yue and Miaojing Shi and Shuai Ding},
journal= {arXiv preprint arXiv:2210.15401},
year = {2023}
}
备注
IEEE Transactions on Pattern Analysis and Machine Intelligence