大语言模型利用多模态数据改进阿尔茨海默病诊断
机器学习
2023-06-01 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
在诊断阿尔茨海默病（AD）等具有挑战性的疾病时，影像是一项重要参考。非影像患者数据，如患者信息、遗传数据、用药信息、认知与记忆测试，也在诊断中发挥着非常重要的作用。然而，受限于人工智能模型挖掘此类信息的能力，现有多数模型仅使用多模态影像数据，无法充分利用非影像数据。我们利用当前非常流行的预训练大语言模型（LLM）来增强模型利用非影像数据的能力，并在ADNI数据集上取得了SOTA结果。
引用
@article{arxiv.2305.19280,
title = {Large language models improve Alzheimer's disease diagnosis using multi-modality data},
author = {Yingjie Feng and Jun Wang and Xianfeng Gu and Xiaoyin Xu and Min Zhang},
journal= {arXiv preprint arXiv:2305.19280},
year = {2023}
}