BiomechGPT：面向临床相关运动任务的多模态基础模型
计算机视觉与模式识别
2025-05-27 v1
摘要
无标记运动捕捉技术的进步正在扩大生物力学运动分析的可及性，使得从门诊诊所、住院医院、治疗机构甚至家庭中获取高质量运动数据成为可能。在这些多样化环境中获取运动数据的扩展，使得执行下游分析的挑战更加严峻。为所有终端用户可能想要的全部任务创建单独的定制分析代码既不可行，也无法利用它们共有的运动特征。近期研究表明，将语言模型微调以接受标记化的运动作为额外模态，可以成功实现对运动的描述性标注。在这里，我们探索了这种多模态运动-语言模型是否能够回答关于运动的详细且具有临床意义的问题。我们收集了来自近500名参与者的超过30小时的生物力学数据，其中许多人因各种病因存在运动障碍，执行了临床结局评估中使用的一系列运动。在对这些运动轨迹进行标记化后，我们创建了一个涵盖多种任务的多模态运动相关问答数据集。我们基于该数据集开发了BiomechGPT，一种多模态生物力学-语言模型。我们的结果表明，BiomechGPT在一系列任务上表现出高性能，包括活动识别、识别运动障碍、诊断、临床结局评分和步态测量。BiomechGPT为康复运动数据的基础模型迈出了重要一步。
引用
@article{arxiv.2505.18465,
title = {BiomechGPT: Towards a Biomechanically Fluent Multimodal Foundation Model for Clinically Relevant Motion Tasks},
author = {Ruize Yang and Ann Kennedy and R. James Cotton},
journal= {arXiv preprint arXiv:2505.18465},
year = {2025}
}