CodePhys: 通过潜在码本查询实现基于视频的稳健远程生理测量
计算机视觉与模式识别
2025-02-12 v1
摘要
远程光电容积图谱（rPPG）旨在从人脸视频中进行非接触式生理信号测量，这在许多应用中显示出巨大的潜力。大多数现有方法直接通过设计心率估计的神经网络来提取视频基于rPPG的特征。虽然它们可以实现可接受的结果，但当来自现实场景的干扰作用作用于人脸视频时，rPPG信号的恢复面临着难以克服的挑战。具体而言，人脸视频不可避免地受到非生理因素（例如相机设备噪声、景深模糊和运动模糊）的影响，导致提取的rPPG信号失真。最近的rPPG提取方法容易受到干扰和退化的影响，导致噪声较大的rPPG信号。本文提出了一种名为CodePhys的新方法，创新性地将rPPG测量视为噪声自由代理空间（即码本）中代码查询任务。我们将噪声rPPG特征视为查询，并通过与码本中来自真实PPG信号的噪声自由PPG特征匹配来生成高保真rPPG特征。我们的方法还包括一种具有空间注意力机制的空间感知编码器网络，以突出显示生理活跃区域，并使用蒸馏损失来减少非周期性视觉干扰的影响。在四个基准数据集上的实验结果表明，CodePhys在内数据集和跨数据集设置下均优于当前最先进的方法。
引用
@article{arxiv.2502.07526,
title = {CodePhys: Robust Video-based Remote Physiological Measurement through Latent Codebook Querying},
author = {Shuyang Chu and Menghan Xia and Mengyao Yuan and Xin Liu and Tapio Seppanen and Guoying Zhao and Jingang Shi},
journal= {arXiv preprint arXiv:2502.07526},
year = {2025}
}