Contrast-Phys+: 通过时空对比的无监督与弱监督基于视频的远程生理测量
计算机视觉与模式识别
2024-02-20 v3
摘要
基于视频的远程生理测量利用面部视频来测量血容量变化信号,也称为远程光体积描记法 (rPPG)。用于 rPPG 测量的监督方法已被证明具有良好的性能。然而,这些方法的缺点是它们需要带有真值 (GT) 生理信号的面部视频,而这些信号通常获取成本高且困难。在本文中,我们提出 Contrast-Phys+,一种可在无监督和弱监督设置下训练的方法。我们采用 3DCNN 模型生成多个时空 rPPG 信号,并将 rPPG 的先验知识纳入对比损失函数中。我们进一步将 GT 信号纳入对比学习,以适应部分或错位的标签。对比损失鼓励来自同一视频的 rPPG/GT 信号聚集在一起,同时将来自不同视频的信号推远。我们在五个公开可用数据集上评估了我们的方法,这些数据集包含 RGB 和近红外视频。Contrast-Phys+ 优于最先进的监督方法,即使在使用部分可用或错位的 GT 信号,或完全没有标签时也是如此。此外,我们强调了我们的方法在计算效率、噪声鲁棒性和泛化方面的优势。我们的代码可在 https://github.com/zhaodongsun/contrast-phys 获取。
引用
@article{arxiv.2309.06924,
title = {Contrast-Phys+: Unsupervised and Weakly-supervised Video-based Remote Physiological Measurement via Spatiotemporal Contrast},
author = {Zhaodong Sun and Xiaobai Li},
journal= {arXiv preprint arXiv:2309.06924},
year = {2024}
}
备注
Accepted by TPAMI