在端到端网络中探索运动边界用于基于视觉的帕金森病严重程度评估
计算机视觉与模式识别
2020-12-25 v2
摘要
评估诸如帕金森病（PD）等神经系统疾病是一项具有挑战性的任务，需要评估若干运动与非运动功能。本文中，我们提出一个端到端深度学习框架，以测量统一帕金森病评定量表（UPDRS）中两个重要组成部分——手部运动与步态的 PD 严重程度。我们的方法利用由时间分段框架训练的 Inflated 3D CNN 来学习视频数据中的空间与长时时间结构。我们还部署了时间注意力机制以提升模型性能。此外，探索将运动边界作为额外输入模态，以辅助消除相机运动的影响，从而实现更好的运动评估。我们消融了不同数据模态对所提网络精度的影响，并与其他流行架构进行比较。我们在一个包含 25 名 PD 患者的数据集上评估所提方法，在手运动与步态任务上分别取得 72.3% 与 77.1% 的 top-1 准确率。
引用
@article{arxiv.2012.09890,
title = {Exploring Motion Boundaries in an End-to-End Network for Vision-based Parkinson's Severity Assessment},
author = {Amirhossein Dadashzadeh and Alan Whone and Michal Rolinski and Majid Mirmehdi},
journal= {arXiv preprint arXiv:2012.09890},
year = {2020}
}