基于多模态视觉和骨骼特征的肌肉骨骼风险细粒度注意力与几何对应模型
计算机视觉与模式识别
2025-10-28 v2
摘要
肌肉骨骼疾病对运动员构成重大风险，早期评估风险对于预防措施至关重要。然而，大多数现有方法设计用于受控环境，由于依赖单一数据类型，无法可靠地在复杂环境中进行风险评估。本研究引入ViSK-GAT（Visual-Skeletal Geometric Attention Transformer），一种新的多模态深度学习框架，用于使用视觉和骨骼坐标基于特征的肌肉骨骼风险分类。通过组合图像和骨骼坐标创建了自定义多模态数据集（MusDis-Sports），每个样本根据Rapid Entire Body Assessment（REBA）系统被分为八个风险类别。ViSK-GAT集成了两个创新模块：细粒度注意力模块（FGAM），通过视觉和骨骼输入之间的交叉注意力来细化跨模态特征；以及多模态几何对应模块（MGCM），增强图像特征与坐标之间的跨模态对齐。该模型实现了稳健的性能，所有关键指标均超过93%。回归结果也表明，RMSE为0.1205，MAE为0.0156。ViSK-GAT consistently优于九个流行的迁移学习主干网络，显示其在AI驱动的肌肉骨骼风险评估中潜力，以及在运动中实现早期、具有影响力的干预。
引用
@article{arxiv.2509.05913,
title = {A Fine-Grained Attention and Geometric Correspondence Model for Musculoskeletal Risk Classification in Athletes Using Multimodal Visual and Skeletal Features},
author = {Md. Abdur Rahman and Mohaimenul Azam Khan Raiaan and Tamanna Shermin and Md Rafiqul Islam and Mukhtar Hussain and Sami Azam},
journal= {arXiv preprint arXiv:2509.05913},
year = {2025}
}