周期性MAE：用于rPPG估计的周期视频掩码自编码器
计算机视觉与模式识别
2025-06-30 v1
摘要
本文提出了一种方法，通过捕捉面部视频中皮肤色调随时间的细微变化，学习从无标签面部视频中捕获周期性信号的通用表征。该框架采用视频掩码自编码器，通过自监督学习学习面部区域的高维时空表征。捕获视频中的准周期信号对于遥感光电图谱学(rPPG)估计至关重要。为此，我们以视频抽样方式应用帧掩码，使模型在预训练阶段能够捕获重抽样的准周期信号。此外，该框架整合了生理带限约束，利用生理信号在其频率带宽内稀疏的特性为模型提供脉冲线索。预训练的编码器随后被迁移到rPPG任务中，用于从面部视频中提取生理信号。我们在PURE、UBFC-rPPG、MMPD和V4V数据集上进行了广泛实验。结果显示，在挑战性的跨数据集评估中，方法性能显著提升。我们的代码已公开于https://github.com/ziiho08/Periodic-MAE。
引用
@article{arxiv.2506.21855,
title = {Periodic-MAE: Periodic Video Masked Autoencoder for rPPG Estimation},
author = {Jiho Choi and Sang Jun Lee},
journal= {arXiv preprint arXiv:2506.21855},
year = {2025}
}