基于交叉验证特征解耦的视频远程生理测量
计算机视觉与模式识别
2020-07-17 v1
摘要
远程生理测量，例如基于远程光体积描记术(rPPG)的心率(HR)、心率变异性(HRV)和呼吸频率(RF)测量，在接触式测量不便或不可能的应用场景中正发挥着越来越重要的作用。由于生理信号的幅度非常小，它们很容易受到头部运动、光照条件和传感器差异的影响。为应对这些挑战，我们提出了一种交叉验证特征解耦策略，将生理特征与非生理表征解耦，然后利用提取出的生理特征进行鲁棒的多任务生理测量。我们首先将输入的人脸视频转换为多尺度时空图(MSTmap)，其可在保留周期性生理信号大部分时间特性的同时抑制不相关的背景和噪声特征。随后，我们将成对的MSTmap作为输入送入一个具有两个编码器（一个用于生理信号，另一个用于非生理信息）的自编码器架构，并使用交叉验证方案获得与非生理特征解耦的生理特征。解耦后的特征最终用于平均HR值和rPPG信号等多个生理信号的联合预测。在不同大规模公开数据集上的多项生理测量任务以及跨数据库测试上的综合实验证明了我们方法的鲁棒性。
引用
@article{arxiv.2007.08213,
title = {Video-based Remote Physiological Measurement via Cross-verified Feature Disentangling},
author = {Xuesong Niu and Zitong Yu and Hu Han and Xiaobai Li and Shiguang Shan and Guoying Zhao},
journal= {arXiv preprint arXiv:2007.08213},
year = {2020}
}