面向运动鲁棒性：远程光电容积描记中的掩码注意力正则化框架
计算机视觉与模式识别
2024-07-10 v1
摘要
近年来，基于面部视频的远程光电容积描记（rPPG）测量技术日益受到关注，其重点在于评估心率、心率变异性等各种生命体征。尽管先前在静态数据集上做出了努力，但这些方法受到感兴趣区域（ROI）定位不准确和运动问题的阻碍，并且在现实场景中泛化能力有限。为了应对这些挑战，我们提出了一种新颖的掩码注意力正则化（MAR-rPPG）框架，该框架减轻了ROI定位和复杂运动伪影的影响。具体来说，我们的方法首先将掩码注意力正则化机制集成到rPPG领域，以捕获面部片段的视觉语义一致性，同时采用掩码技术防止模型在不准确的ROI上过拟合，进而导致性能下降。此外，我们提出了一个增强型rPPG专家聚合（EREA）网络作为主干网络，以同时获取rPPG信号和注意力图。我们的EREA网络能够区分来自不同面部区域的发散注意力，并保持时空注意力图的一致性。为了实现运动鲁棒性，由于我们的框架在rPPG信号提取和注意力正则化方面具有卓越能力，一个简单的开源检测器MediaPipe用于数据预处理就足够了。在三个基准数据集（UBFC-rPPG、PURE和MMPD）上的详尽实验证明了我们提出方法的优越性，其性能显著优于近期最先进的工作。
引用
@article{arxiv.2407.06653,
title = {Toward Motion Robustness: A masked attention regularization framework in remote photoplethysmography},
author = {Pengfei Zhao and Qigong Sun and Xiaolin Tian and Yige Yang and Shuo Tao and Jie Cheng and Jiantong Chen},
journal= {arXiv preprint arXiv:2407.06653},
year = {2024}
}
备注
CVPR workshop 2024 accepted