基于生成特征提取的 Mamba 架构 Alzheimer 病多模态进展评估
计算机视觉与模式识别
2025-01-30 v3 人工智能
摘要
Alzheimer 病（AD）是一种渐进性、不可逆的神经退行性疾病，常常从轻度认知障碍（MCI）开始。这种进展导致显著的记忆丧失，严重影响患者的生活质量。临床试验持续显示，针对具有 MCI 的个体进行早期且有针对性的干预可能可减缓甚至预防 AD 的进展。研究表明，准确的医学分类需要多种多模态数据，包括详细的评估量表和神经影像技术，如磁共振成像（MRI）和正电子断层成像（PET）。然而，同时收集上述三种模态进行训练 presents substantial 挑战。为解决这些困难，我们提出了 GFE-Mamba，一种基于生成特征提取器的多模态分类器。该提取器提供的中间特征可弥补 PET 的不足，并在分类器中实现深入的多模态融合。Mamba 块作为分类器的主干，使其能够高效地从长序列尺度的信息中提取信息。像素级双交叉注意力（Pixel-level Bi-cross Attention）补充了来自 MRI 和 PET 的像素级信息。我们提供了开发该跨时序进展预测数据集和预训练提取器权重的理由。我们的实验发现，GFE-Mamba 模型有效预测了从 MCI 到 AD 的进展，并在该领域的几种领先方法中取得优异成绩。我们的源代码已公开：https://github.com/Tinysqua/GFE-Mamba。
引用
@article{arxiv.2407.15719,
title = {GFE-Mamba: Mamba-based AD Multi-modal Progression Assessment via Generative Feature Extraction from MCI},
author = {Zhaojie Fang and Shenghao Zhu and Yifei Chen and Binfeng Zou and Fan Jia and Chang Liu and Xiang Feng and Linwei Qiu and Feiwei Qin and Jin Fan and Changbiao Chu and Changmiao Wang},
journal= {arXiv preprint arXiv:2407.15719},
year = {2025}
}
备注
13 pages, 9 figures