基于标记点运动捕捉与多阶段时空图卷积神经网络的步态冻结自动评估
计算机视觉与模式识别
2022-08-15 v3
摘要
步态冻结（FOG）是帕金森病中一种常见且致残的步态障碍。由于难以客观评估 FOG，人们对这一现象的深入认识受到限制。为满足该临床需求，本文提出一种由新型深度神经网络驱动的、基于运动捕捉的 FOG 自动评估方法。自动 FOG 评估可表述为一个动作分割问题，其中时序模型负责识别未裁剪运动捕捉试验中的 FOG 片段并对其进行时间定位。本文仔细考察了最先进动作分割模型在自动评估 FOG 任务上的表现。此外，提出了一种新型深度神经网络架构，旨在比最先进基线更好地捕捉空间与时间依赖关系。所提出的网络称为多阶段时空图卷积网络（MS-GCN），它结合了时空图卷积网络（ST-GCN）与多阶段时间卷积网络（MS-TCN）。ST-GCN 捕捉运动捕捉固有的关节间分层时空运动，而多阶段组件通过多阶段细化预测来减少过分割错误。实验表明，所提模型优于四个最先进基线。此外，由 MS-GCN 预测得出的 FOG 结果与由人工标注得出的 FOG 结果具有极好（r=0.93 [0.87, 0.97]）和中等强度（r=0.75 [0.55, 0.87]）的线性关系。所提出的 MS-GCN 可提供一种自动化且客观的、替代劳动密集型临床医生评估 FOG 的方案。未来工作可致力于评估 MS-GCN 在更大且更多样验证队列上的泛化能力。
引用
@article{arxiv.2103.15449,
title = {Automated freezing of gait assessment with marker-based motion capture and multi-stage spatial-temporal graph convolutional neural networks},
author = {Benjamin Filtjens and Pieter Ginis and Alice Nieuwboer and Peter Slaets and Bart Vanrumste},
journal= {arXiv preprint arXiv:2103.15449},
year = {2022}
}