PhySU-Net：具有自监督预训练的长时序上下文 rPPG Transformer
计算机视觉与模式识别
2024-02-20 v1
摘要
远程光电容积脉搏波（rPPG）是一项很有前景的技术，包括从面部视频中非接触式测量心脏活动。最近的大多数方法利用具有有限时序建模能力的卷积网络，或者忽略了长时序上下文。有监督的 rPPG 方法也受到数据稀缺的严重限制。在本工作中，我们提出了 PhySU-Net，这是第一个长时空图 rPPG Transformer 网络，以及一种利用未标记数据来改进我们模型的自监督预训练策略。我们的策略利用传统方法和图像掩蔽为自监督预训练提供伪标签。我们的模型在两个公共数据集（OBF 和 VIPL-HR）上进行了测试，并在有监督训练中显示出优越的性能。此外，我们证明了我们的自监督预训练策略通过利用从未标记数据中学习到的表示，进一步提高了模型的性能。
引用
@article{arxiv.2402.11913,
title = {PhySU-Net: Long Temporal Context Transformer for rPPG with Self-Supervised Pre-training},
author = {Marko Savic and Guoying Zhao},
journal= {arXiv preprint arXiv:2402.11913},
year = {2024}
}