CalibrationPhys：通过多相机间标定实现自监督视频心率与呼吸率测量
图像与视频处理
2024-01-12 v2 计算机视觉与模式识别
摘要
基于面部视频的视频心率与呼吸率测量比传统接触式传感器更有用且更友好。然而，当前多数深度学习方法需要真值脉搏与呼吸波用于模型训练，而这类数据收集成本高昂。本文提出 CalibrationPhys，一种通过多相机间标定实现的自监督视频心率与呼吸率测量方法。CalibrationPhys 利用多相机同时采集的面部视频，无需监督标签即可训练深度学习模型。通过对比学习，使多相机同步视频预测的脉搏与呼吸波为正样本，不同视频预测的为负样本。CalibrationPhys 还借助数据增强技术提升模型鲁棒性，并成功利用了针对特定相机的预训练模型。基于两个数据集的实验结果表明，CalibrationPhys 优于最先进的（SOTA）心率与呼吸率测量方法。由于我们仅使用多相机视频优化相机专用模型，本方法便于任意相机用于心率与呼吸率测量。
引用
@article{arxiv.2310.15043,
title = {CalibrationPhys: Self-supervised Video-based Heart and Respiratory Rate Measurements by Calibrating Between Multiple Cameras},
author = {Yusuke Akamatsu and Terumi Umematsu and Hitoshi Imaoka},
journal= {arXiv preprint arXiv:2310.15043},
year = {2024}
}
备注
Accepted to IEEE Journal of Biomedical and Health Informatics (J-BHI)