Contrast-Phys：基于时空对比的无监督视频远程生理测量
计算机视觉与模式识别
2024-02-01 v1
摘要
基于视频的远程生理测量利用人脸视频来测量血容量变化信号，亦称远程光体积描记法（rPPG）。有监督的 rPPG 测量方法达到了最先进的性能。然而，有监督 rPPG 方法需要人脸视频与真实生理信号用于模型训练。本文提出一种无监督 rPPG 测量方法，其训练无需真实信号。我们使用 3DCNN 模型从每个视频的不同时空位置生成多个 rPPG 信号，并以对比损失训练模型，其中来自同一视频的 rPPG 信号被拉近，而来自不同视频的则被推远。我们在五个公开数据集（包括 RGB 视频与 NIR 视频）上测试。结果表明，我们的方法优于先前的无监督基线，并在全部五个数据集上达到与当前最佳有监督 rPPG 方法十分接近的精度。此外，我们还证明，与先前的无监督基线相比，我们的方法运行速度更快，且对噪声更鲁棒。我们的代码见 https://github.com/zhaodongsun/contrast-phys。
引用
@article{arxiv.2208.04378,
title = {Contrast-Phys: Unsupervised Video-based Remote Physiological Measurement via Spatiotemporal Contrast},
author = {Zhaodong Sun and Xiaobai Li},
journal= {arXiv preprint arXiv:2208.04378},
year = {2024}
}
备注
accepted to ECCV 2022