幻觉心跳：异常感知的远程脉搏估计
计算机视觉与模式识别
2023-03-14 v1
摘要
基于摄像头的生理监测，尤其是远程光体积描记法（rPPG），是一种有前景的健康诊断工具，且最先进的脉搏估计器在基准数据集上已展现出令人印象深刻的性能。我们认为，对现代方案的评估可能并不完备，因为我们揭示了在无真人视频或存在严重噪声情况下的失败案例。我们证明，仅用活体样本训练的时空深度学习模型会在异常和噪声视频上“幻觉”出真实形态的脉搏，当医疗人员使用 rPPG 模型时这可能会产生负面后果。为此，我们提供：(a) 一个构建于预测波形之上的异常检测模型。我们比较了在开放集（未知异常预测）与封闭集（训练时已知异常预测）设定下训练的模型；(b) 一种异常感知训练机制，其对模型从异常视频预测周期信号施加惩罚。使用八个研究数据集（rPPG 专用：DDPM、CDDPM、PURE、UBFC、ARPM；深度伪造：DFDC；人脸呈现攻击检测：HKBU-MARs；rPPG 离群：KITTI）进行的广泛实验表明，采用所提训练的深度学习模型的异常检测准确率（75.8%）优于常规训练模型（73.7%）与手工 rPPG 方法（52-62%）。
引用
@article{arxiv.2303.06452,
title = {Hallucinated Heartbeats: Anomaly-Aware Remote Pulse Estimation},
author = {Jeremy Speth and Nathan Vance and Benjamin Sporrer and Lu Niu and Patrick Flynn and Adam Czajka},
journal= {arXiv preprint arXiv:2303.06452},
year = {2023}
}
备注
Accepted at BIOSIGNALS 2023