面向神经退行性疾病的多模态步态识别
计算机视觉与模式识别
2021-01-08 v1 人工智能
摘要
近年来，基于单模态的步态识别在医学图像或其他传感数据分析中得到了广泛探索，并且人们认识到已有的各种方法各有优劣。作为重要的运动症状，步态障碍通常用于疾病的诊断与评估；此外，利用对患者行走模式的多模态分析，弥补了仅学习单一测量维度中步态变化的单模态步态识别方法的片面性。多种测量资源的融合在识别与特定疾病相关的步态模式方面已展现出良好的性能。在本文中，我们提出一种新颖的混合模型作为有用工具，通过融合和聚合来自多个传感器的数据，来学习三种神经退行性疾病之间、不同严重程度帕金森病的患者之间以及健康个体与患者之间的步态差异。空间特征提取器（SFE）用于生成图像或信号的代表性特征。为了从双模态数据中捕获时间信息，设计了一种新的关联记忆神经网络（CorrMNN）架构用于提取时间特征。之后，我们嵌入一个多开关判别器，将观测结果与个体状态估计相关联。与几种最先进（SOTA）技术相比，我们提出的框架显示出更准确的分类结果。
引用
@article{arxiv.2101.02469,
title = {Multimodal Gait Recognition for Neurodegenerative Diseases},
author = {Aite Zhao and Jianbo Li and Junyu Dong and Lin Qi and Qianni Zhang and Ning Li and Xin Wang and Huiyu Zhou},
journal= {arXiv preprint arXiv:2101.02469},
year = {2021}
}