一种用于双相情感障碍诊断的双金字塔多模态融合方法
计算机视觉与模式识别
2024-01-17 v1
摘要
以往关于双相情感障碍诊断的研究主要集中在静息态功能磁共振成像上。然而，其准确率无法满足临床诊断的要求。高效的多模态融合策略在多模态数据中具有巨大的应用潜力，并能进一步提升医学诊断模型的性能。本工作同时利用结构磁共振成像（sMRI）和功能磁共振成像（fMRI）数据，提出了一种新颖的双相情感障碍多模态诊断模型。所提出的块金字塔特征提取模块提取sMRI特征，时空金字塔结构提取fMRI特征。最后，它们通过一个融合模块进行融合，并由分类器输出诊断结果。大量实验表明，在OpenfMRI数据集上，我们提出的方法在平衡准确率上从0.657提升至0.732，优于其他方法，并达到了当前最优水平。
引用
@article{arxiv.2401.07571,
title = {A Bi-Pyramid Multimodal Fusion Method for the Diagnosis of Bipolar Disorders},
author = {Guoxin Wang and Sheng Shi and Shan An and Fengmei Fan and Wenshu Ge and Qi Wang and Feng Yu and Zhiren Wang},
journal= {arXiv preprint arXiv:2401.07571},
year = {2024}
}
备注
Accepted by IEEE ICASSP 2024