GaitForeMer：通过人体运动预测对 Transformer 进行自监督预训练以用于少样本步态障碍严重程度估计
计算机视觉与模式识别
2022-07-04 v1 机器学习
图像与视频处理
摘要
帕金森病（PD）是一种神经系统疾病，具有多种可观察的运动相关症状，如运动迟缓、震颤、肌肉强直和姿势受损。PD 通常根据运动障碍学会统一帕金森病评定量表（MDS-UPDRS）等评分系统评估运动障碍的严重程度来诊断。利用个体视频记录进行自动严重程度预测，为运动障碍的非侵入性监测提供了一条有前景的途径。然而，PD 步态数据规模有限阻碍了模型能力与临床潜力。由于这种临床数据稀缺，并受近期 GPT-3 等自监督大规模语言模型进展的启发，我们将人体运动预测作为一种有效的自监督预训练任务，用于运动障碍严重程度估计。我们提出 GaitForeMer（Gait Forecasting and impairment estimation transforMer），其首先在公开数据集上预训练以预测步态运动，然后应用于临床数据预测 MDS-UPDRS 步态障碍严重程度。我们的方法大幅优于仅依赖临床数据的先前方法，取得了 0.76 的 F1 分数、0.79 的精确率和 0.75 的召回率。利用 GaitForeMer，我们展示了公开人体运动数据库如何通过学习通用运动表征来辅助临床用例。代码见 https://github.com/markendo/GaitForeMer 。
引用
@article{arxiv.2207.00106,
title = {GaitForeMer: Self-Supervised Pre-Training of Transformers via Human Motion Forecasting for Few-Shot Gait Impairment Severity Estimation},
author = {Mark Endo and Kathleen L. Poston and Edith V. Sullivan and Li Fei-Fei and Kilian M. Pohl and Ehsan Adeli},
journal= {arXiv preprint arXiv:2207.00106},
year = {2022}
}
备注
Accepted as a conference paper at MICCAI (Medical Image Computing and Computer Assisted Intervention) 2022