NeuroMoE：基于Transformer的多模态神经系统障碍分类混合专家框架
图像与视频处理
2025-06-19 v1 计算机视觉与模式识别
机器学习
摘要
多模态磁振压影像（MRI）和临床数据的融合在实际临床环境中提高诊断神经系统障碍（NDs）的潜力巨大。深度学习（DL）最近成为从医疗数据中提取有意义模式以辅助诊断的强大工具。然而，现有的DL方法难以有效利用多模态MRI和临床数据，导致表现次佳。为此，我们利用专为ND研究精心策划的独特专有多模态临床数据集。基于该数据集，我们提出一种新颖的基于Transformer的混合专家（MoE）框架，用于ND分类，充分利用多种MRI模态——解剖（aMRI）、扩散张量成像（DTI）和功能（fMRI）——以及临床评估。我们的框架采用Transformer编码器捕获体积化MRI数据中的空间关系，同时利用特定于模态的专家进行针对性特征提取。一个带有自适应融合的门控机制动态整合专家输出，确保最佳预测性能。全面实验和与多个基准方法的比较表明，我们的多模态方法在诊断准确率上显著提升，尤其在区分重叠疾病状态方面。我们的框架在验证准确率达到82.47%，超过基准方法超过10%，凸显了其在应用于真实世界临床数据方面提升ND诊断潜力的意义。
关键词
引用
@article{arxiv.2506.14970,
title = {NeuroMoE: A Transformer-Based Mixture-of-Experts Framework for Multi-Modal Neurological Disorder Classification},
author = {Wajih Hassan Raza and Aamir Bader Shah and Yu Wen and Yidan Shen and Juan Diego Martinez Lemus and Mya Caryn Schiess and Timothy Michael Ellmore and Renjie Hu and Xin Fu},
journal= {arXiv preprint arXiv:2506.14970},
year = {2025}
}
备注
Accepted at the 47th Annual International Conference of the IEEE Engineering in Medicine and Biology Society