用于精神障碍分类的多维嵌入感知模态融合Transformer
图像与视频处理
2023-10-05 v1 计算机视觉与模式识别
摘要
深度学习方法与神经影像技术相结合，在精神障碍分类中发挥重要作用。既往精神障碍诊断研究主要聚焦于使用静息态功能磁共振成像（rs-fMRI）的功能连接矩阵作为输入，仍未能充分利用 rs-fMRI 数据时间序列的丰富时间信息。本工作提出一种多维嵌入感知模态融合 transformer（MFFormer），利用 rs-fMRI 与 T1 加权结构 MRI（T1w sMRI）对精神分裂症与双相情感障碍进行分类。具体而言，为充分利用 rs-fMRI 的时间信息与 sMRI 的空间信息，我们构建了以 rs-fMRI 的二维时间序列与 T1w 的三维体数据为输入的深度学习架构。此外，为促进模态内注意力与跨模态信息融合，通过多模态混合特征图的广泛自注意力设计了融合 transformer 模块（FTM）。同时，提出升维与降维策略以恰当对齐来自不同模态的多维特征图。在私有与公开 OpenfMRI 数据集上的实验表明，所提 MFFormer 在精神分裂症与双相情感障碍诊断上优于使用单模态或多模态 MRI 的方法。
引用
@article{arxiv.2310.02690,
title = {Multi-Dimension-Embedding-Aware Modality Fusion Transformer for Psychiatric Disorder Clasification},
author = {Guoxin Wang and Xuyang Cao and Shan An and Fengmei Fan and Chao Zhang and Jinsong Wang and Feng Yu and Zhiren Wang},
journal= {arXiv preprint arXiv:2310.02690},
year = {2023}
}