DiaMond：基于MRI和PET的多模态视觉Transformer痴呆诊断
计算机视觉与模式识别
2024-10-31 v1 人工智能
摘要
痴呆的诊断，尤其是阿尔茨海默病（AD）和额颞叶痴呆（FTD），由于症状重叠而具有复杂性。虽然磁共振成像（MRI）和正电子发射断层扫描（PET）数据对诊断至关重要，但在深度学习中整合这些模态面临挑战，往往导致与使用单一模态相比表现不佳。此外，多模态方法在鉴别诊断中的潜力具有重要的临床意义，但尚未得到充分探索。我们提出了一种新颖框架DiaMond，利用视觉Transformer有效整合MRI和PET。DiaMond配备了自注意力机制和一种新颖的双注意力机制，能够协同结合MRI和PET，同时采用多模态归一化来减少冗余依赖，从而提升性能。DiaMond在多个数据集上显著优于现有的多模态方法，在AD诊断中实现了92.4%的平衡准确率，在AD-MCI-CN分类中达到65.2%，在AD和FTD的鉴别诊断中达到76.5%。我们还通过全面的消融研究验证了DiaMond的鲁棒性。代码可在https://github.com/ai-med/DiaMond获取。
引用
@article{arxiv.2410.23219,
title = {DiaMond: Dementia Diagnosis with Multi-Modal Vision Transformers Using MRI and PET},
author = {Yitong Li and Morteza Ghahremani and Youssef Wally and Christian Wachinger},
journal= {arXiv preprint arXiv:2410.23219},
year = {2024}
}
备注
Accepted by IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025