通过整合显式与隐式先验知识推进可泛化的远程生理测量
计算机视觉与模式识别
2025-02-04 v2
摘要
远程光电容积脉搏波（rPPG）是一项很有前景的技术，可从面部视频中捕捉生理信号，在医疗健康、情感计算和生物特征识别等领域具有潜在应用。rPPG 任务的需求已从证明在数据集内测试中的良好性能扩展到跨数据集测试（即域泛化）。然而，大多数现有方法忽略了 rPPG 的先验知识，导致泛化能力较差。在本文中，我们提出了一种新颖的框架，同时在 rPPG 任务中利用显式和隐式先验知识。具体而言，我们系统分析了不同域中噪声源（如不同的相机、光照、肤色和运动）的成因，并将这些先验知识纳入网络中。此外，我们利用双分支网络通过隐式标签相关性将生理特征分布与噪声解耦。大量实验表明，所提出的方法不仅在 RGB 跨数据集评估中优于最先进的方法，而且能很好地从 RGB 数据集泛化到近红外（NIR）数据集。代码见：https://github.com/keke-nice/Greip。
引用
@article{arxiv.2403.06947,
title = {Advancing Generalizable Remote Physiological Measurement through the Integration of Explicit and Implicit Prior Knowledge},
author = {Yuting Zhang and Hao Lu and Xin Liu and Yingcong Chen and Kaishun Wu},
journal= {arXiv preprint arXiv:2403.06947},
year = {2025}
}