用于护理活动识别的多模态Transformer

在老龄化人口中，老年患者在医院和养老院的安全是主要关注问题，这需要增加护理人员的照护。通过进行护理活动识别，我们不仅能确保所有患者获得均等的所需照护，还能将护士从所执行活动的手工记录中解放出来，从而为老年人营造公平且安全的照护环境。本工作中，我们提出了一种基于多模态Transformer的网络，其从骨骼关节与加速度数据中提取特征并融合以执行护理活动识别。我们的方法在Nurse Care Activity Recognition Challenge提供的护理活动识别基准数据集上取得了81.8%准确率的当前最优性能。我们进行了消融实验，表明我们的融合模型优于单模态Transformer变体（仅使用加速度或骨骼关节数据）。我们的方案在NCRC数据集上还以1.6%的优势超越了当前最优的ST-GCN、GRU及其他基于经典手工特征的分类器方案。代码见\url{https://github.com/Momilijaz96/MMT_for_NCRC}。