SMART：面向精神障碍群体的场景运动感知人体动作识别框架
计算机视觉与模式识别
2024-06-10 v1
摘要
精神障碍患者常表现出危险的异常行为，如爬墙或击打窗户，这需要借助日益发展的物联网（IoT）技术，通过智能视频行为监测来实现智慧医疗。然而，基于视觉的人体动作识别（HAR）在这些行为上的发展受到缺乏专用算法和数据集的阻碍。本文创新性地提出构建一个包含精神障碍群体中常见异常行为的基于视觉的HAR数据集，然后引入一种新颖的场景运动感知动作识别技术框架，命名为SMART，包含两个技术模块。首先，我们提出一个场景感知模块，用于提取人体运动轨迹和人-场景交互特征，为上述动作引入额外的场景信息作为补充语义表示。其次，多阶段融合模块融合骨架运动、运动轨迹和人-场景交互特征，增强骨架运动与上述补充表示之间的语义关联，从而生成同时包含人体运动和场景信息的综合表示。我们提出的方法在自采HAR数据集（MentalHAD）上得到了验证，在未见过的受试者和场景中分别达到了94.9%和93.1%的准确率，并分别以6.5%和13.2%的优势超越了现有最先进方法。所展示的受试者和场景泛化能力使得SMART有可能迁移到医疗环境中精神障碍患者的智慧医疗系统的实际部署中。代码和数据集将公开发布以供进一步研究：https://github.com/Inowlzy/SMART.git。
引用
@article{arxiv.2406.04649,
title = {SMART: Scene-motion-aware human action recognition framework for mental disorder group},
author = {Zengyuan Lai and Jiarui Yang and Songpengcheng Xia and Qi Wu and Zhen Sun and Wenxian Yu and Ling Pei},
journal= {arXiv preprint arXiv:2406.04649},
year = {2024}
}