用于康复运动质量评估的跨模态视频到身体关节增强
计算机视觉与模式识别
2023-06-19 v1
摘要
基于运动的康复项目已被证明可提升生活质量并降低死亡率与再住院率。AI 驱动的虚拟康复项目使患者能在家独立完成运动，同时 AI 算法可分析运动数据向患者提供反馈并向临床医生报告进展。本文引入一种利用 RGB 视频评估康复运动质量的新方法。从连续 RGB 视频帧中提取骨骼身体关节序列，并由多对一序列神经网络分析以评估运动质量。现有运动康复数据集缺乏充足样本以训练深度序列神经网络实现有效泛化。为此提出一种跨模态数据增强方法。对视频数据施加视觉增强技术，并从增强后视频提取的身体关节用于训练序列神经网络。在远程身体康复运动运动学评估与临床评分(KIMORE)数据集上开展的广泛实验，证明了所提方法优于先前基线方法。消融研究凸显了跨模态增强后运动质量评估的显著提升。
引用
@article{arxiv.2306.09546,
title = {Cross-Modal Video to Body-joints Augmentation for Rehabilitation Exercise Quality Assessment},
author = {Ali Abedi and Mobin Malmirian and Shehroz S. Khan},
journal= {arXiv preprint arXiv:2306.09546},
year = {2023}
}