面向鲁棒远程光学动力学测量的插拨式时间归一化模块
图像与视频处理
2024-11-26 v1 计算机视觉与模式识别
摘要
远程光学动力学（rPPG）从人脸视频中细微的颜色变化中提取 PPG 信号，显示出强大的健康应用潜力。然而，大多数 rPPG 方法依赖连续帧之间的强度差，忽略了受运动或光照伪影影响的长期信号变化，从而降低准确性。本文引入了时间归一化（TN），这是一种兼容任何端到端 rPPG 网络架构的灵活插拨式模块。通过遵循拖尾处理捕获长期时序归一化特征，TN 有效缓解了运动和光照伪影，显著提升了 rPPG 预测性能。当集成到四种最新 rPPG 方法中时，TN 在四个广泛使用的数据集上，心率测量任务的性能提升幅度为 34.3% 至 94.2%。值得注意的是，TN 在较小模型中显示出更大的性能提升。我们进一步讨论并提供关于 TN 有效性背后机制的见解。
引用
@article{arxiv.2411.15283,
title = {A Plug-and-Play Temporal Normalization Module for Robust Remote Photoplethysmography},
author = {Kegang Wang and Jiankai Tang and Yantao Wei and Mingxuan Liu and Xin Liu and Yuntao Wang},
journal= {arXiv preprint arXiv:2411.15283},
year = {2024}
}