基于补丁的直观多模态原型网络 (PIMPNet) 用于阿尔茨海默病分类
计算机视觉与模式识别
2024-07-23 v2
摘要
体积神经影像检查（如结构磁共振成像，sMRI）常用于支持痴呆症状诊断，如阿尔茨海默病 (AD)。神经放射科医生检查3D sMRI以检测和监测AD引起的脑形态异常，包括全脑或局部脑萎缩及特征结构的形态改变。关于开发基于深度学习 (DL) 模型分析sMRI以诊断AD存在浓厚研究兴趣。然而，从sMRI检查中提取的解剖信息需结合患者年龄才能区分AD模式与正常老化过程中的常规变化。就此背景，部分原型神经网络将DL的计算优势融入可解释架构，并在医学影像应用中展现出前景。我们提出PIMPNet，这是首个应用于3D sMRI和患者年龄对AD进行二分类的可解释多模态模型。尽管年龄原型未能提升预测性能（相较于单一模态模型），但为模型设计和多模态原型训练进程的未来工作奠定了基础。
引用
@article{arxiv.2407.14277,
title = {Patch-based Intuitive Multimodal Prototypes Network (PIMPNet) for Alzheimer's Disease classification},
author = {Lisa Anita De Santi and Jörg Schlötterer and Meike Nauta and Vincenzo Positano and Christin Seifert},
journal= {arXiv preprint arXiv:2407.14277},
year = {2024}
}
备注
Accepted "late-breaking work" at XAI-2024