DD-rPPGNet：用于无监督 rPPG 估计的去干扰与描述特征学习
计算机视觉与模式识别
2025-04-29 v3
摘要
遥控光电血压 (Remote Photoplethysmography, rPPG) 旨在从人脸视频中测量生理信号和心率 (Heart Rate)。最近的无监督 rPPG 估计方法在不依赖真实 rPPG 信号的情况下显示出了在估计人脸区域 rPPG 信号的潜在前景。然而，这些方法似乎对 rPPG 信号中存在的干扰毫无察觉，仍然导致性能不令人满意。本文提出一种新的去干扰和描述 rPPG 估计网络 (DD-rPPGNet)，用于消除 rPPG 特征中的干扰，以学习真实的 rPPG 信号。首先，我们研究了干扰在 rPPG 信号中局部时空相似性特征，并设计了一种新型无监督模型来估计干扰。接着，我们提出一种无监督的去干扰方法，通过两个阶段来学习真实的 rPPG 信号。在第一个阶段，我们通过从训练数据及其增强版本进行对比学习来估计初始 rPPG 信号。在第二个阶段，我们使用估计的干扰特征来推导去干扰后的 rPPG 特征，并鼓励 rPPG 信号与干扰信号区分。此外，我们通过开发强大的 3D 可学习描述卷积 (3DLDC) 来捕捉人脸色度变化的细微变化，从而增强 rPPG 估计。在五个 rPPG 基准数据集上进行的大量实验表明，所提出的 DD-rPPGNet 优于以前的无监督 rPPG 估计方法，并与最新的有监督 rPPG 方法取得了竞争性能。代码已公开：https://github.com/Pei-KaiHuang/TIFS2025-DD-rPPGNet
引用
@article{arxiv.2407.21402,
title = {DD-rPPGNet: De-interfering and Descriptive Feature Learning for Unsupervised rPPG Estimation},
author = {Pei-Kai Huang and Tzu-Hsien Chen and Ya-Ting Chan and Kuan-Wen Chen and Chiou-Ting Hsu},
journal= {arXiv preprint arXiv:2407.21402},
year = {2025}
}