面向青少年脊柱侧弯自我管理的多模态大语言模型适配与评估: 一个分治框架
人工智能
2025-10-14 v2
摘要
本研究首次系统评估了多模态大语言模型(MLLM)在青少年脊柱侧弯(AIS)自我管理中的应用。我们构建了一个约3000例正位胸背X光片伴诊断文本的数据库，并通过一个"分治"框架评估了五个MLLM，框架包括视觉问答任务、领域知识评估任务和患者教育咨询评估任务。我们的研究发现，MLLM在解释复杂脊柱X光片和理解AIS护理知识方面存在局限。为此，我们首次通过脊柱关键点提示增强了MLLM，并构建了AIS知识库用于检索增强生成(RAG)。结果显示，视觉提示在不同架构中的有效性有所不同，而RAG显著提高了模型在知识评估任务上的表现。我们的发现表明，当前MLLM在实现AIS护理中的个性化助手方面仍远远不够。最大挑战在于其获取脊柱畸形位置(最佳准确率:0.55)和方向(最佳准确率:0.13)的能力。
引用
@article{arxiv.2509.11645,
title = {Adapting and Evaluating Multimodal Large Language Models for Adolescent Idiopathic Scoliosis Self-Management: A Divide and Conquer Framework},
author = {Zhaolong Wu and Pu Luo and Nan Meng and Jason Pui Yin Cheung and Teng Zhang},
journal= {arXiv preprint arXiv:2509.11645},
year = {2025}
}
备注
Accepted by MICCAI 2025 MLLMCP Workshop