基于视频变换器的呼吸状态检测

通过视觉检查识别呼吸急迫是一种拯救生命的临床技能。医生们可以检测到呼吸急迫的早期迹象，为更早的干预创造出宝贵的窗口。在本研究中，我们评估了最近在视频变换器方面的进展是否可以使人工智能系统从视频中识别呼吸急迫的迹象。我们收集了健康志愿者在剧烈运动后恢复期间的视频，并利用每个受试者呼吸状态自然恢复的特性为呼吸急迫创建标记数据集。将视频分割为短片段，早期片段对应更严重的呼吸困难，我们设计了一种时间顺序挑战，以评估AI系统是否能够检测呼吸急迫。我们发现，一个以ViViT编码器为基础，增强了Lie相对编码(LieRE)和运动引导遮蔽，结合基于嵌入的比较策略，可在此任务上实现0.81的F1分数。我们的发现表明，现代视频变换器能够识别呼吸机械的细微变化。