基于步骤分割与关键动作评分联合的手卫生评估
计算机视觉与模式识别
2023-06-21 v4
摘要
手卫生是世界卫生组织（WHO）提出的六步标准洗手动作。然而，目前缺乏有效监督医务人员执行手卫生的方法，这带来了疾病传播的潜在风险。现有动作评估工作通常对整个视频进行整体质量预测。然而，手卫生动作的内部结构在手卫生评估中十分重要。因此，我们提出了一种新颖的细粒度学习框架，以联合方式进行步骤分割与关键动作评分，从而实现准确的手卫生评估。现有时间分割方法通常采用多阶段卷积网络以提升分割鲁棒性，但由于缺乏长程依赖，容易导致过分割。为解决此问题，我们设计了一个多阶段卷积-Transformer网络用于步骤分割。基于每个洗手步骤包含若干决定洗手质量的关键动作这一观察，我们设计了一组关键动作评分器来评估各步骤中关键动作的质量。此外，手卫生评估领域缺乏统一的数据集。因此，在医务人员监督下，我们构建了一个包含300个带细粒度标注视频序列的数据集。在该数据集上的大量实验表明，我们的方法能很好地评估手卫生视频并取得优异性能。
引用
@article{arxiv.2209.12221,
title = {Hand Hygiene Assessment via Joint Step Segmentation and Key Action Scorer},
author = {Chenglong Li and Qiwen Zhu and Tubiao Liu and Jin Tang and Yu Su},
journal= {arXiv preprint arXiv:2209.12221},
year = {2023}
}