rPPG-MAE：基于掩码自编码器的自监督预训练用于远程生理测量
计算机视觉与模式识别
2023-06-06 v1
摘要
远程光电容积脉搏波描记法（rPPG）是感知人体生命体征的重要技术，已受到广泛关注。长期以来，研究者聚焦于依赖大量标注数据的监督方法。这些方法受限于大量数据需求以及真实生理信号获取的困难。为解决这些问题，若干基于对比学习的自监督方法被提出。然而，它们关注样本间的对比学习，忽视了生理信号中固有的自相似先验，且应对噪声的能力似乎有限。本文设计了一个线性自监督重构任务，用于提取生理信号中固有的自相似先验。此外，探索了一种特定的抗噪声策略，以降低运动和光照的干扰。本文提出的框架，即 rPPG-MAE，即使在具挑战性的 VIPL-HR 数据集上也展现出优异性能。我们还在两个公开数据集 PURE 和 UBFC-rPPG 上评估了所提方法。结果表明，我们的方法不仅优于现有自监督方法，而且超过了最先进的（SOTA）监督方法。一个重要观察是，在 rPPG 的自监督预训练中，数据集的质量似乎比规模更重要。源代码发布于 https://github.com/linuxsino/rPPG-MAE。
引用
@article{arxiv.2306.02301,
title = {rPPG-MAE: Self-supervised Pre-training with Masked Autoencoders for Remote Physiological Measurement},
author = {Xin Liu and Yuting Zhang and Zitong Yu and Hao Lu and Huanjing Yue and Jingyu Yang},
journal= {arXiv preprint arXiv:2306.02301},
year = {2023}
}