面向儿童肺炎的医学多模态大语言模型

儿童肺炎是全球5岁以下儿童死亡的主要原因，给受影响的家庭造成了巨大的负拔。当前诊断和治疗儿童肺炎存在三个显著挑战：首先，儿童肺炎与其他呼吸疾病相似，使快速准确的差别诊断具有挑战性；其次，基层医院往往缺乏足够的医疗资源和经验丰富的医生；最后，提供个性化诊断报告和治疗建议则十分费时费力。为此，我们提出了一个儿童肺炎医学多模态大语言模型（P2Med-MLLM）。它能够在统一的框架中处理多种临床任务，如生成自由文本放射科报告和病历。具体而言，P2Med-MLLM可以处理纯文本和图像-文本数据，训练于一个大规模数据集（P2Med-MD），包括来自163,999例门诊和8,684例住院病例的真实临床信息。该数据集包含2D胸片X光片、3D胸部CT扫描、相应的放射科报告以及门诊和住院记录。我们设计了一个三阶段训练策略，使P2Med-MLLM能够理解医学知识并针对各种临床任务遵循指令。为严格评估P2Med-MLLM的性能，我们开发了P2Med-MBench，包含642个由儿童肺炎专科医生仔细验证的样本，覆盖六项临床决策支持任务和均衡的多种疾病。自动评分结果显示P2Med-MLLM的优势。这一工作在帮助基层医生快速疾病诊断和治疗计划方面发挥了关键作用，降低了严重症状死亡率，优化了医疗资源的分配。