通过任意分辨率视频学习运动鲁棒的远程光电容积描记
计算机视觉与模式识别
2022-12-06 v3
摘要
远程光电容积描记(rPPG)能够从面部视频中实现非接触式心率(HR)估计，相较于传统接触式测量具有显著便利性。在真实世界长期健康监测场景中，参与者距离及其头部运动通常随时间变化，导致因面部分辨率变化和复杂运动伪影而产生不准确的rPPG测量。不同于以往为相机与参与者间恒定距离设计的rPPG模型，本文提出两个即插即用模块（即生理信号特征提取模块(PFE)和时间人脸对齐模块(TFA)）以缓解距离变化和头部运动带来的性能退化。一方面，在代表性区域信息引导下，PFE自适应地将任意分辨率面部帧编码为固定分辨率的面部结构特征。另一方面，利用估计的光流，TFA能够抵消由头部运动引起的rPPG信号混淆，从而利于运动鲁棒的rPPG信号恢复。此外，我们还使用双流双分辨率框架以跨分辨率约束训练模型，进一步帮助PFE学习分辨率鲁棒的面部rPPG特征。在三个基准数据集(UBFC-rPPG、COHFACE和PURE)上的大量实验证明了所提方法的优越性能。一个亮点是，借助PFE和TFA，现成的时空rPPG模型可在面部分辨率变化和剧烈头部运动场景下预测更鲁棒的rPPG信号。代码见 https://github.com/LJW-GIT/Arbitrary_Resolution_rPPG。
引用
@article{arxiv.2211.16922,
title = {Learning Motion-Robust Remote Photoplethysmography through Arbitrary Resolution Videos},
author = {Jianwei Li and Zitong Yu and Jingang Shi},
journal= {arXiv preprint arXiv:2211.16922},
year = {2022}
}
备注
Accepted by AAAI 2023