真实世界与极端光照场景下的远程光电容积描记
计算机视觉与模式识别
2025-03-17 v1
摘要
生理活动可以通过面部成像的敏感变化来体现。虽然这些变化肉眼几乎不可见，但计算机视觉方法可以捕捉它们，由此衍生的远程光电容积描记（rPPG）展现出了巨大的潜力。然而，现有研究主要依赖空间皮肤识别和时间节律交互，因此侧重于在理想光照条件下识别显式特征，但在具有复杂障碍和极端光照暴露的非受限环境中表现不佳。在本文中，我们提出了一种用于 rPPG 的端到端视频 Transformer 模型。该模型致力于消除复杂且未知的外部时变干扰，无论这些干扰是否足以掩盖微弱的生物信号幅度，或是作为阻碍网络训练的周期性扰动而存在。在具体实现中，我们利用全局干扰共享、受试者背景参考和自监督解耦来消除干扰，并进一步基于时空滤波、重建指导以及频域与生物先验约束来引导学习，从而实现有效的 rPPG。据我们所知，这是首个基于自然人脸视频的面向真实户外场景的鲁棒 rPPG 模型，且轻量易于部署。大量实验表明了我们的模型在跨数据集和跨场景的 rPPG 预测中的竞争力和性能。
引用
@article{arxiv.2503.11465,
title = {Remote Photoplethysmography in Real-World and Extreme Lighting Scenarios},
author = {Hang Shao and Lei Luo and Jianjun Qian and Mengkai Yan and Shuo Chen and Jian Yang},
journal= {arXiv preprint arXiv:2503.11465},
year = {2025}
}