SkelMamba: 用于神经疾病骨架动作识别的状态空间模型
计算机视觉与模式识别
2024-12-02 v1 人工智能
机器学习
摘要
我们介绍了一个基于状态空间模型（SSM）的新型框架，用于骨架-based 人体动作识别，该框架采用解剖学引导的架构，在临床诊断和通用动作识别任务中均优于当前最先进的性能。我们的方法将骨架运动分析分解为空间、时间和时空三个流，利用通道分区高效捕获不同的运动特征。通过在 SSM 中实现结构化的多向扫描策略，我们的模型能够捕获多个解剖体部部位的局部关节相互作用和全局运动模式。这种解剖学意识的分解增强了识别神经疾病相关的微妙运动模式（如与神经疾病相关的步态异常）的能力。在公共动作识别基准数据集上，即 NTU RGB+D、NTU RGB+D 120 和 NW-UCLA，我们的模型超越了当前最先进的方法，准确率提升最高可达 ，计算复杂度也低于以前基于 Transformer 的领先模型。我们还引入了一个新的医疗数据集，用于基于运动的患者神经疾病分析，以验证该方法在自动化疾病诊断方面的潜力。
引用
@article{arxiv.2411.19544,
title = {SkelMamba: A State Space Model for Efficient Skeleton Action Recognition of Neurological Disorders},
author = {Niki Martinel and Mariano Serrao and Christian Micheloni},
journal= {arXiv preprint arXiv:2411.19544},
year = {2024}
}