面向基于远程光电容积描记生理测量的双路径TokenLearner面部视频方法
计算机视觉与模式识别
2023-08-16 v1
摘要
基于远程光电容积描记（rPPG）的生理测量是一项新兴且关键的视觉任务，其挑战在于以非接触方式从伴随光照变化、面部遮挡、头部运动等噪声的面部视频中探索准确的rPPG预测。现有主流基于CNN的模型致力于通过捕捉心跳引起的面部感兴趣区域（ROI）细微颜色变化来检测生理信号。然而，此类模型受限于神经单元中有限的局部空间或时间感受野。与之不同，本文提出一种称为双路径TokenLearner（Dual-TL）的原生基于Transformer的框架，其利用可学习token的概念从视频全局视角整合空间与时间信息上下文。具体而言，所提Dual-TL使用空间TokenLearner（S-TL）探索不同面部ROI间的关联，从而使rPPG预测远离噪声ROI干扰。作为补充，设计时间TokenLearner（T-TL）以推断心跳的准周期模式，消除头部运动等时间干扰。S-TL与T-TL两个TokenLearner以双路径模式执行，使模型能为最终rPPG信号预测降低噪声干扰。在四个生理测量基准数据集上进行了大量实验。Dual-TL在数据集内与跨数据集测试中均达到最优性能，展现了其作为rPPG测量基础骨干的巨大潜力。源代码见\href{https://github.com/VUT-HFUT/Dual-TL}{https://github.com/VUT-HFUT/Dual-TL}
引用
@article{arxiv.2308.07771,
title = {Dual-path TokenLearner for Remote Photoplethysmography-based Physiological Measurement with Facial Videos},
author = {Wei Qian and Dan Guo and Kun Li and Xilan Tian and Meng Wang},
journal= {arXiv preprint arXiv:2308.07771},
year = {2023}
}