AGIR：基于大语言模型的 3D 步态损伤评估
计算机视觉与模式识别
2025-03-25 v1
摘要
评估步态损伤在早期诊断、疾病监测和治疗评估方面发挥着重要作用。尽管其在临床实践中广泛应用，但仍受主观性和精度不足的限制。虽然最近的深度学习方法在分类准确率方面持续取得改进，但往往缺乏可解释性，阻碍了其在临床决策中的实用性。为克服这些挑战，我们引入了 AGIR，这是一个新型管道，包含一个预训练的 VQ-VAE 动作标记器和随后微调的大语言模型（LLM），后者针对动作标记和链式思维（Chain-of-Thought, CoT）推理的配对进行训练。为了为路径ological gait analysis 微调 LLM，我们首先为 MDS-UPDRS 步态评分评估添加专用的理由，以扩充现有的帕金森病步态数据集。我们随后引入了两阶段监督式微调（SFT）策略，以增强 LLM 对动作理解能力，融入特定于疾病的知识。该策略包括：1）一个生成阶段，通过双向动作-描述生成将步态运动与分析描述对齐，2）一个推理阶段，将逻辑链式思维（CoT）推理集成到损伤评估中，并结合 UPDRS 步态评分。对现有数据集上的验证以及与最新方法的比较确认了我们管道的稳健性和准确性，证明其能够从运动输入中分配具有临床意义理由的步态损伤评分。
引用
@article{arxiv.2503.18141,
title = {AGIR: Assessing 3D Gait Impairment with Reasoning based on LLMs},
author = {Diwei Wang and Cédric Bobenrieth and Hyewon Seo},
journal= {arXiv preprint arXiv:2503.18141},
year = {2025}
}