使用多模态大语言模型与消费级相机诊断肩部疾病
计算机视觉与模式识别
2025-10-13 v1 人工智能
计算与语言
机器学习
摘要
肩部疾病，如冻结肩（又称粘连性关节囊炎），是影响全球人群健康的常见病症，在老年人和从事重复性肩部作业的工人中发病率较高。在医疗资源匮乏的地区，实现早期准确诊断面临重大挑战，亟需低成本且易于扩展的辅助诊断方案。本研究引入消费级设备拍摄的视频作为诊断基础，降低了用户成本。我们聚焦于多模态大语言模型（MLLM）在肩部疾病初步诊断中的创新应用，提出一种混合运动视频诊断框架（HMVDx）。该框架将动作理解与疾病诊断两个任务分别交由两个 MLLM 完成。除传统评估指标外，本工作提出一种基于医学决策逻辑过程（动作识别、运动诊断和最终诊断）的新型指标——可用性指数（Usability Index）。该指数从整个医学诊断路径的视角评估 MLLM 在医学领域的有效性，揭示了低成本 MLLM 在医学应用中对医学从业者的潜在价值。在实验对比中，HMVDx 在诊断肩关节损伤方面的准确率相比直接视频诊断提升了 79.6%，为未来 MLLM 在医学视频理解领域的应用研究做出了重要技术贡献。
引用
@article{arxiv.2510.09230,
title = {Diagnosing Shoulder Disorders Using Multimodal Large Language Models and Consumer-Grade Cameras},
author = {Jindong Hong and Wencheng Zhang and Shiqin Qiao and Jianhai Chen and Jianing Qiu and Chuanyang Zheng and Qian Xu and Yun Ji and Qianyue Wen and Weiwei Sun and Hao Li and Huizhen Li and Huichao Wang and Kai Wu and Meng Li and Yijun He and Lingjie Luo and Jiankai Sun},
journal= {arXiv preprint arXiv:2510.09230},
year = {2025}
}