利用多模态模型增强阿尔茨海默病的神经影像诊断
人工智能
2024-11-13 v1 图像与视频处理
摘要
大语言模型和视觉语言模型的快速进步在医学诊断中显示出巨大潜力，尤其是在放射学领域，例如X射线数据集与人类生成的诊断报告配对。然而，在神经影像领域，特别是针对阿尔茨海默病等疾病，由于缺乏可用于模型微调的全面诊断报告，存在显著的研究空白。本文通过使用 GPT-4o-mini 对来自 OASIS-4 数据集（包含 663 名患者）的结构化数据生成合成诊断报告来填补这一空白。以合成报告作为训练和验证的真实数据，我们随后利用预训练的 BiomedCLIP 和 T5 模型直接从数据集中的图像生成神经学报告。我们提出的方法达到了 0.1827 的 BLEU-4 分数、0.3719 的 ROUGE-L 分数和 0.4163 的 METEOR 分数，揭示了其在生成临床相关且准确的诊断报告方面的潜力。
引用
@article{arxiv.2411.07871,
title = {Leveraging Multimodal Models for Enhanced Neuroimaging Diagnostics in Alzheimer's Disease},
author = {Francesco Chiumento and Mingming Liu},
journal= {arXiv preprint arXiv:2411.07871},
year = {2024}
}
备注
The paper has been accepted by the conference: "2024 International Conference on Big Data (IEEE Big Data 2024)"