由 ChatGPT 解释的多模态神经退行性疾病亚型分类
机器学习
2024-02-02 v1 计算机视觉与模式识别
摘要
阿尔茨海默病（AD）是最普遍的神经退行性疾病；然而，目前可用的治疗方法仅限于阻止疾病进展。此外，由于疾病的异质性，这些治疗的有效性并不能得到保证。因此，能够在极早期阶段识别疾病亚型至关重要。当前的数据驱动方法能够在 AD 或相关疾病的较晚阶段对亚型进行分类，但在无症状或前驱期进行预测时存在困难。此外，大多数现有模型要么缺乏分类背后的可解释性，要么仅使用单一模态进行评估，限制了其分析范围。因此，我们提出了一个多模态框架，该框架使用成像、遗传学和临床评估等早期指标，在早期阶段将 AD 患者分类为不同亚型。同样地，我们构建提示并使用大型语言模型（如 ChatGPT）来解释我们模型的发现。在我们的框架中，我们提出了一种三模态协同注意力机制（Tri-COAT），以显式学习跨模态特征关联。我们提出的模型优于基线模型，并提供了对由已知生物学机制支持的关键跨模态特征关联的深入见解。
引用
@article{arxiv.2402.00137,
title = {Multimodal Neurodegenerative Disease Subtyping Explained by ChatGPT},
author = {Diego Machado Reyes and Hanqing Chao and Juergen Hahn and Li Shen and Pingkun Yan},
journal= {arXiv preprint arXiv:2402.00137},
year = {2024}
}