RhythmFormer：基于周期稀疏注意力的模式化 rPPG 信号提取
计算机视觉与模式识别
2025-02-21 v3
摘要
远程光电容积描记法 (rPPG) 是一种基于面部视频检测生理信号的非接触方法，在各个应用中具有巨大潜力。由于 rPPG 信号的周期性特性，Transformer 的长距离依赖捕获能力被认为对此类信号具有优势。然而，现有方法尚未确凿地证明 Transformer 优于传统卷积神经网络。这可能归因于 Transformer 随序列长度表现出的二次方扩展，导致特征提取粒度较粗，进而影响鲁棒性和泛化能力。为了解决这一问题，本文提出了一种基于由周期性引起的时间注意力稀疏性的周期稀疏注意力机制。在常规注意力机制之前引入了一个预注意力阶段。该阶段学习周期模式以过滤掉大量不相关的注意力计算，从而实现细粒度的特征提取。此外，为了解决细粒度特征更容易受到噪声干扰的问题，提出了一个融合主干网络来有效引导自注意力关注 rPPG 特征。它可以轻松集成到现有方法中以增强其性能。大量实验表明，所提出的方法在数据集内和跨数据集评估中均取得了 SOTA 性能。代码可在 https://github.com/zizheng-guo/RhythmFormer 获取。
引用
@article{arxiv.2402.12788,
title = {RhythmFormer: Extracting Patterned rPPG Signals based on Periodic Sparse Attention},
author = {Bochao Zou and Zizheng Guo and Jiansheng Chen and Junbao Zhuo and Weiran Huang and Huimin Ma},
journal= {arXiv preprint arXiv:2402.12788},
year = {2025}
}