中文

TYrPPG:用于远程心率估计的简化且增强学习能力 rPPG

计算机视觉与模式识别 2025-11-11 v1

摘要

远程光电动力学 (rPPG) 可从 RGB 视频中远程提取生理信号,具备低成本、无创等优势,广泛应用于心率检测。现有 rPPG 模型通常基于转换器模块,计算效率较低。近期,Mamba 模型因在自然语言处理任务中显示高效性能,成为替代基于转换器算法的热门选择。然而,Mambaout 模型及其变体表明,Mamba 模型的核心组件——SSM 模块,对视觉任务并非必需。因此,本文旨在证明基于 Mambaout 的模块可用于远程学习心率。具体而言,本文提出一种新型 rPPG 算法,称为 uncomplicated and enhanced learning capability rPPG (TYrPPG)。该论文引入创新的门控视频理解块 (GVB),用于高效分析 RGB 视频。该块基于 Mambaout 结构,集成 2D-CNN 和 3D-CNN 以增强视频理解。此外,本文提出综合监督损失函数 (CSL),改善模型学习能力,并推出其弱监督变体。实验表明,TYrPPG 在常用数据集上实现了最先进的性能,显示出在远程心率估计中的前景与优势。源代码已公开于 https://github.com/Taixi-CHEN/TYrPPG。

关键词

引用

@article{arxiv.2511.05833,
  title  = {TYrPPG: Uncomplicated and Enhanced Learning Capability rPPG for Remote Heart Rate Estimation},
  author = {Taixi Chen and Yiu-ming Cheung},
  journal= {arXiv preprint arXiv:2511.05833},
  year   = {2025}
}

备注

The 6th International Workshop on AI for Social Good in the Connected World (AI4SG)@ IEEE WI-IAT 2025