基于骨架和多阶段深度学习的物联网医疗相关人类活动识别
计算机视觉与模式识别
2025-01-14 v1
摘要
物联网 (IoT) 和移动技术显著变革了医疗保健，使能够实时监测和诊断患者。识别医疗相关人类活动 (MRHA) 对医疗系统至关重要，尤其是用于识别对患者健康至关重要的动作。然而，人类运动识别 (HMR) 中仍存在计算需求高、准确率低和适应性有限等挑战。虽然一些研究将 HMR 与 IoT 集成用于实时医疗应用，但针对 MRHA 的识别研究仍有限，这对于有效的患者监控至关重要。本研究提出一种 novel HMR 方法用于 MRHA 检测，利用多阶段深度学习技术与 IoT 集成。该方法使用 EfficientNet 从骨架帧序列中提取优化的空间特征，采用七个移动倒置瓶颈卷积 (MBConv) 块，然后通过 ConvLSTM 捕获时空模式。分类模块包含全局平均池化、全连接层和 dropout 层，用于生成最终预测。该模型在 NTU RGB+D 120 和 HMDB51 数据集上进行评估，聚焦于 MRHA，如打喷嚏、跌倒、行走、坐下等。在 NTU RGB+D 120 数据集上，交叉主体评估达到 94.85% 准确率，交叉视图评估达到 96.45% 准确率，在 HMDB51 数据集上达到 89.00% 准确率。此外，系统集成了使用树莓派和 GSM 模块的 IoT 功能，通过 Twilios 短信服务向照护者和患者提供实时警报。该可扩展且高效的解决方案弥合了 HMR 与 IoT 之间的差距，推动了患者监控，改进了医疗结果，降低了成本。
引用
@article{arxiv.2501.07039,
title = {IoT-Based Real-Time Medical-Related Human Activity Recognition Using Skeletons and Multi-Stage Deep Learning for Healthcare},
author = {Subrata Kumer Paul and Abu Saleh Musa Miah and Rakhi Rani Paul and Md. Ekramul Hamid and Jungpil Shin and Md Abdur Rahim},
journal= {arXiv preprint arXiv:2501.07039},
year = {2025}
}