面向自监督心率测量的联合空间-时间建模与对比学习
计算机视觉与模式识别
2024-06-10 v1
摘要
本文简要介绍了我们团队（HFUT-VUT）为第 3 届基于视觉的远程生理信号感知（RePSS）挑战（IJCAI 2024）Track 1 所 developing 的解决方案。该挑战的目标是开发一种用于从无标签面部视频中估计心率（HR）的自监督学习算法。为解决这一任务，我们提出了两种集成空间-时间建模和对比学习的自监督 HR 估计解决方案。具体而言，我们首先提出了一种基于空间-时间建模的非 end-to-end 自监督 HR 测量框架，能够有效捕获微弱的 rPPG 线索并利用 rPPG 固有的带宽和周期性特征来约束模型。同时，我们采用一种出色的 end-to-end 解决方案基于对比学习，旨在从补充视角推广到不同场景。最后，我们通过集成策略结合上述解决方案的优势，以生成最终预测，实现更精确的 HR 估计。结果显示，我们的解决方案在测试数据集上取得了惊人的 RMSE 分数 8.85277，位列该挑战 Track 1 第 2 名。
引用
@article{arxiv.2406.04942,
title = {Joint Spatial-Temporal Modeling and Contrastive Learning for Self-supervised Heart Rate Measurement},
author = {Wei Qian and Qi Li and Kun Li and Xinke Wang and Xiao Sun and Meng Wang and Dan Guo},
journal= {arXiv preprint arXiv:2406.04942},
year = {2024}
}