一种鲁棒可扩展的注意力引导深度学习运动质量评估框架
计算机视觉与模式识别
2022-04-19 v1 人工智能
摘要
物理康复项目通常始于短暂的住院，并延续为基于家庭的康复。在家庭康复中，缺乏关于动作正确性的反馈是一个重大问题。利用通过深度成像设备采集的骨骼运动数据（以下简称骨骼数据）进行自动化运动质量评估（MQA）可提供必要的定量反馈，从而辅助家庭康复。本文旨在利用深度学习的最新进展解决 MQA 问题。运动质量分数生成是 MQA 的重要组成部分。我们提出了三种新颖的骨骼数据增强方案。我们表明，使用所提增强生成运动质量分数相较现有方法带来显著的性能提升。最后，我们提出了一种基于 transformer 的 MQA 新架构。提出并研究了四种新颖的特征提取器，使 transformer 网络能够处理骨骼数据。我们表明，在所提特征提取器设计中加入注意力机制，可使 transformer 网络关注对执行动作有显著贡献的特定身体部位。相较于现有方法，我们在 UI-PRMD 数据集上报告了运动质量分数预测 12% 的提升，在 KIMORE 数据集上提升了 21%。
引用
@article{arxiv.2204.07840,
title = {A Robust and Scalable Attention Guided Deep Learning Framework for Movement Quality Assessment},
author = {Aditya Kanade and Mansi Sharma and Manivannan Muniyandi},
journal= {arXiv preprint arXiv:2204.07840},
year = {2022}
}