基于多模态多视角视频的 ICU 患者运动摘要

临床观察表明，在医院重症监护期间，患者的睡眠体位和运动影响康复。不幸的是，目前没有正式的医疗协议来记录、量化和分析患者运动。少数临床研究使用睡眠姿势和运动记录的手动分析来支持患者体位和运动监测的医疗益处。手动过程不可扩展，容易出现人为错误，并加剧了本已紧张的医疗劳动力。本研究介绍了 DECU (Deep Eye-CU)：一种自主多模态多视角系统，通过自主监测医疗环境并实现患者睡眠姿势和运动的记录与分析来解决这些问题。DECU 使用三个 RGB-D 摄像头监测医疗重症监护室 (ICU) 中的患者运动。DECU 中的算法在不同时间分辨率下估计姿势方向，并使用关键帧高效地表示姿势转换动态。DECU 将从数据计算的深度特征与修改版隐马尔可夫模型相结合，以更灵活地建模睡眠姿势持续时间、分析姿势模式并摘要患者运动。文中给出了大量实验结果。在模拟和真实 ICU 中，DECU 的性能在理想 (BC：明亮清晰/无遮挡) 和自然 (DO：黑暗遮挡) 场景下、两种运动分辨率下进行了评估。结果表明，深度特征使 DECU 在 BC 场景下达到与人工特征相当的分类性能，并在 DO 场景下将准确率提高高达 8%。此外，总体姿势历史摘要追踪准确率在 BC 场景下平均检测率为 85%，在 DO 场景下为 76%。所提出的关键帧估计算法使 DECU 达到平均 78% 的转换分类准确率。