存在口罩遮挡下的远程脉搏估计
计算机视觉与模式识别
2021-05-21 v2 人机交互
图像与视频处理
摘要
远程光电容积描记（rPPG）是一类监测血容量变化的技术，利用消费级可见光相机的人脸视频进行广泛的接触式健康监控可能尤为有用。COVID-19 大流行导致防护口罩的广泛使用。我们发现，当部署在无人脸遮挡图像上设计的方法时，布质口罩的遮挡使心率估计的平均绝对误差增加了 80% 以上。我们表明，通过添加图案化合成口罩来增强无人脸遮挡视频，可迫使模型关注眼周与额头区域，从而提升性能并缩小口罩与无口罩脉搏估计之间的差距。据我们所知，本文首次分析了口罩对脉搏估计精度的影响，并做出了若干新颖贡献：(a) 针对存在口罩情况下的远程光电容积描记设计的基于 3D CNN 的方法，(b) 两个公开可用的脉搏估计数据集，分别来自 86 名无口罩与 61 名戴口罩受试者，(c) 对手工算法及在无人脸遮挡视频和合成添加口罩视频上训练的 3D CNN 的评估，以及 (d) 向人脸视频添加合成口罩的数据增强方法。
引用
@article{arxiv.2101.04096,
title = {Remote Pulse Estimation in the Presence of Face Masks},
author = {Jeremy Speth and Nathan Vance and Patrick Flynn and Kevin Bowyer and Adam Czajka},
journal= {arXiv preprint arXiv:2101.04096},
year = {2021}
}