中文

BYHE:一种提升基于视频的端到端心率测量网络的简易框架

计算机视觉与模式识别 2022-09-28 v2

摘要

基于远程光电容积描记术(rPPG)的心率测量在健康护理中起着重要作用,它以非接触、低约束的方式从人脸视频中估计心率。端到端神经网络是基于 rPPG 的心率估计方法的主要分支,其特点是从原始人脸视频中直接恢复包含充足心率信息的 rPPG 信号。然而,相关数据集上存在一些易被忽视的问题,阻碍了端到端方法的有效训练,例如标签波形的不确定时间延迟与不定包络形状。尽管已提出许多新颖而强大的网络,迄今尚无系统性研究深入探究这些问题。本文从心脏活动产生的常见内在节律周期性自相似角度出发,提出一种综合方法,即提升你的心跳估计(BYHE),包含新的标签表示、相应的网络调整与损失函数。BYHE 可轻松嫁接于当前端到端网络并提升其训练效率。应用我们的方法,可节省大量时间,无需进行繁琐的手工操作(如先前端到端方法所必需的标签波形对齐),同时增强数据集的利用率。根据实验,BYHE 能借助经典端到端网络在多数常用数据集上达到与最先进(SOTA)方法相竞争的性能。该改进表明,选择明晰高效的标签表示也是迈向更优远程生理信号测量的一个有前景的方向。

关键词

引用

@article{arxiv.2207.01697,
  title  = {BYHE: A Simple Framework for Boosting End-to-end Video-based Heart Rate Measurement Network},
  author = {Weiyu Sun and Xinyu Zhang and Ying Chen and Yun Ge and Chunyu Ji and Xiaolin Huang},
  journal= {arXiv preprint arXiv:2207.01697},
  year   = {2022}
}