基于视频 Transformer 的瞬时生理信号估计
计算机视觉与模式识别
2022-02-28 v1
摘要
基于视频的生理信号估计主要局限于在加窗区间内预测片段性分数。虽然这些间歇性数值有用，但它们提供了不完整的病人生理状态图景，并可能导致对危急情况的迟滞检测。我们提出了一种视频 Transformer，用于从人脸视频中估计瞬时心率与呼吸率。生理信号通常受到时空对齐误差的干扰。为克服此问题，我们在频域中构造损失函数。我们在大规模 Vision-for-Vitals (V4V) 基准上评估了该方法。其在瞬时呼吸率估计上优于基于浅层与深度学习的方法。在心率估计方面，其达到了 13.0 beats-per-minute 的瞬时平均绝对误差（instantaneous-MAE）。
引用
@article{arxiv.2202.12368,
title = {Instantaneous Physiological Estimation using Video Transformers},
author = {Ambareesh Revanur and Ananyananda Dasari and Conrad S. Tucker and Laszlo A. Jeni},
journal= {arXiv preprint arXiv:2202.12368},
year = {2022}
}
备注
13 pages, 4 figures, AAAI workshop and Springer Studies in Computational Intelligence 2022. For project page see https://github.com/revanurambareesh/instantaneous_transformer