RhythmNet：基于时空表征的端到端人脸心率估计
计算机视觉与模式识别
2020-02-19 v2
摘要
心率（HR）是反映人体生理与情绪状态的重要生理信号。传统心率测量通常依赖接触式监测仪，可能带来不便与不适。近年来，已有一些从人脸视频进行远程心率估计的方法被提出；然而，它们大多聚焦于受控良好的场景，其在约束较少场景（如存在头部运动、光照不佳）下的泛化能力尚不清楚。同时，缺乏大规模心率数据库限制了深度模型在远程心率估计中的应用。本文提出一种端到端的 RhythmNet 用于从人脸进行远程心率估计。在 RhythmNet 中，我们使用一种时空表征，将来自多个 ROI 体素的心率信号编码为其输入。随后，时空表征被送入卷积网络以估计心率。我们还通过门控循环单元（GRU）考虑视频序列中相邻心率测量值之间的关系，实现了高效的心率测量。此外，我们构建了一个大规模多模态心率数据库（命名为 VIPL-HR，可从 'http://vipl.ict.ac.cn/view_database.php?id=15' 获取），包含 107 名受试者的 2378 段可见光视频（VIS）和 752 段近红外（NIR）视频。我们的 VIPL-HR 数据库包含头部运动、光照变化、采集设备改变等多种变化，复现了约束较少的心率估计场景。所提方法在公开领域数据库及我们的 VIPL-HR 数据库上均优于当前最优（SOTA）方法。
引用
@article{arxiv.1910.11515,
title = {RhythmNet: End-to-end Heart Rate Estimation from Face via Spatial-temporal Representation},
author = {Xuesong Niu and Shiguang Shan and Hu Han and Xilin Chen},
journal= {arXiv preprint arXiv:1910.11515},
year = {2020}
}