基于多模态注意力深度学习的阿尔茨海默病诊断
机器学习
2022-09-27 v2 计算机视觉与模式识别
图像与视频处理
摘要
阿尔茨海默病（AD）是最常见的神经退行性疾病，其发病机制极为复杂，使得有效且具临床可操作性的决策支持十分困难。本研究的目的是开发一种新颖的多模态深度学习框架，以辅助医学专业人员进行 AD 诊断。我们提出一种多模态阿尔茨海默病诊断框架（MADDi），从影像、遗传和临床数据中准确检测 AD 及轻度认知障碍（MCI）的存在。MADDi 的新颖之处在于我们使用了跨模态注意力，以捕捉模态间的交互——这是该领域此前未被探索的方法。我们进行多分类，考虑到 MCI 与 AD 之间的高度相似性，这是一项具有挑战性的任务。我们与先前最先进的模型进行比较，评估注意力的重要性，并考察各模态对模型性能的贡献。MADDi 在留出测试集上以 96.88% 的准确率对 MCI、AD 和对照组进行分类。在考察不同注意力方案的贡献时，我们发现跨模态注意力与自注意力结合表现最佳，而模型中无注意力层表现最差，F1 分数相差 7.9%。我们的实验凸显了结构化临床数据对于帮助机器学习模型语境化并解释其余模态的重要性。广泛的消融研究表明，任何无法获取结构化临床信息的多模态输入特征组合都遭受显著的性能损失。本研究证明了通过跨模态注意力结合多种输入模态以提供高精度 AD 诊断决策支持的价值。
引用
@article{arxiv.2206.08826,
title = {Multimodal Attention-based Deep Learning for Alzheimer's Disease Diagnosis},
author = {Michal Golovanevsky and Carsten Eickhoff and Ritambhara Singh},
journal= {arXiv preprint arXiv:2206.08826},
year = {2022}
}
备注
11 pages, 5 figures