TransPPG：用于远程心率估计的双流 Transformer
计算机视觉与模式识别
2022-01-27 v1
摘要
基于非接触面部视频、利用远程光电容积描记（rPPG）的心率估计在许多应用（如远程医疗）中展现出巨大潜力，并在受限场景下取得了可信结果。然而，实际应用要求结果即使在具有头部运动和不稳定光照的复杂环境下也准确。因此，提升 rPPG 在复杂环境中的性能已成为关键挑战。本文中，我们提出一种新颖的视频嵌入方法，将每段时间面部视频序列嵌入为称为多尺度自适应时空重叠图（MAST_Mop）的特征图，其不仅包含生命体征信息，还包含作为参考的周边信息，可充当镜像以同时辨识施加于前景与背景的同质扰动，例如光照不稳定。相应地，我们提出一种双流 Transformer 模型将 MAST_Mop 映射为心率（HR），其中一流沿面部区域追踪脉搏信号，另一流从周边区域辨识扰动信号，从而两通道之差实现自适应噪声消除。我们的方法在两个公开数据集 MAHNOB-HCI 和 VIPL-HR 上显著优于当前所有 SOTA 方法。据我们所知，这是首个以 Transformer 为骨干捕获 rPPG 中时间依赖关系，并应用双流方案利用背景作为前景信号相应扰动的镜像来实现抗噪的工作。
引用
@article{arxiv.2201.10873,
title = {TransPPG: Two-stream Transformer for Remote Heart Rate Estimate},
author = {Jiaqi Kang and Su Yang and Weishan Zhang},
journal= {arXiv preprint arXiv:2201.10873},
year = {2022}
}