PoseAction：基于深度学习方法用于病房中患者的行为识别
计算机视觉与模式识别
2023-10-06 v1 机器学习
摘要
对受试者行为特别是其动作或行为的实时智能检测与预测在病房中至关重要。该方法具有降低院内护理成本并提高医护人员效率的优势，对于夜间或入院高峰期的场景尤为如此。因此，在本工作中，我们提出使用计算机视觉（CV）与深度学习（DL）方法检测受试者并识别其动作。我们利用OpenPose作为准确的受试者检测器来识别视频流中人体受试者的位置。此外，我们采用AlphAction的异步交互聚合（AIA）网络来预测被检测受试者的动作。该集成模型被称为PoseAction。同时，所提模型使用来自NTU RGB+D与NTU RGB+D 120数据集的医学相关视频片段进一步训练以预测病房区域12种常见动作，如蹒跚、胸痛和跌倒。结果表明，PoseAction取得了最高分类mAP为98.72%（[email protected]）。此外，本研究开发了用于动作识别的在线实时模式，有力支持了PoseAction的临床转化。进一步，利用OpenPose的人脸关键点识别功能，我们还实现了人脸模糊，这是解决患者与医护人员隐私保护关切的实用方案。尽管如此，PoseAction的训练数据目前有限，尤其在标签多样性方面。因此，后续步骤涉及利用更多样化的数据集（包括通用动作）训练模型参数以改善泛化能力。
引用
@article{arxiv.2310.03288,
title = {PoseAction: Action Recognition for Patients in the Ward using Deep Learning Approaches},
author = {Zherui Li and Raye Chen-Hua Yeow},
journal= {arXiv preprint arXiv:2310.03288},
year = {2023}
}