用于自动化阿尔茨海默病预测的多模态对比学习与表格注意力
计算机视觉与模式识别
2023-08-30 v1 人工智能
摘要
除 MRI 扫描和 PET 等神经影像外，阿尔茨海默病（AD）数据集还包含包括 AD 生物标志物和临床评估在内的宝贵表格数据。现有的计算机视觉方法难以利用这些额外信息。为满足上述需求，我们提出了一种用于图像数据与表格数据多模态对比学习的可泛化框架、一个用于放大并排序表格中显著特征的新型表格注意力模块，并将这些技术应用于阿尔茨海默病预测。实验评估通过对来自 ADNI 数据库的超过 882 张 MR 图像切片检测阿尔茨海默病（AD），证明了我们框架的有效性。我们利用表格数据的高可解释性以及我们新颖的表格注意力方法，通过对表格每一行注意力分数的归因，记录并排序了最显著的特征。结果表明，该模型准确率超过 83.8%，较先前最优水平提升近 10%。
引用
@article{arxiv.2308.15469,
title = {Multimodal Contrastive Learning and Tabular Attention for Automated Alzheimer's Disease Prediction},
author = {Weichen Huang},
journal= {arXiv preprint arXiv:2308.15469},
year = {2023}
}