基于单 fMRI 体数据的功能交互学习的多模态脑疾病分类
图像与视频处理
2023-03-03 v3 计算机视觉与模式识别
摘要
在神经影像分析中，fMRI 能很好地评估无明显结构损伤的脑疾病的功能变化。迄今，多数基于深度学习的 fMRI 研究将功能连接（FC）作为疾病分类的基本特征。然而，FC 基于预定义感兴趣区的时间序列计算，忽略了每个体素包含的详细信息。使用 FC 的另一缺陷是用于深度模型训练的样本量有限。FC 的低表示能力导致临床实践表现不佳，尤其在处理涉及多类视觉信号与文本记录的脑疾病多模态医疗数据时。为克服 fMRI 特征模态的这一瓶颈问题，我们提出 BrainFormer，一种基于单 fMRI 体数据的端到端功能交互学习脑疾病分类方法。不同于在 FC 上构建卷积与 transformer 的传统深度学习方法，BrainFormer 通过以 3D 卷积对每个体素内局部线索建模、并从浅层到深层以专门设计的全局注意力机制捕捉远端区域间全局关联，从 fMRI 信号中学习功能交互。同时，BrainFormer 可处理包括 fMRI 体数据、结构 MRI、FC 特征与表型数据的多模态医疗数据，以实现更全面的脑疾病诊断。我们在自闭症、阿尔茨海默病、抑郁症、注意缺陷多动障碍与头痛疾病的五个独立多站点数据集上评估 BrainFormer。结果证明了其对多脑疾病多模态特征诊断的有效性与泛化性。BrainFormer 可提升临床中基于神经影像诊断的精度，并启发未来 fMRI 分析研究。
引用
@article{arxiv.2208.03028,
title = {Multimodal Brain Disease Classification with Functional Interaction Learning from Single fMRI Volume},
author = {Wei Dai and Ziyao Zhang and Lixia Tian and Shengyuan Yu and Shuhui Wang and Zhao Dong and Hairong Zheng},
journal= {arXiv preprint arXiv:2208.03028},
year = {2023}
}