MM-GTUNets：用于脑部疾病预测的统一多模态图深度学习
计算机视觉与模式识别
2025-03-31 v3
摘要
图深度学习（GDL）在通过整合影像与非影像数据来预测基于人群的脑部疾病（BDs）方面显示出惊人的性能。然而，GDL方法的有效性高度依赖于对多模态人群图的建模质量，且随图规模增大而恶化。此外，这些方法常将影像与非影像数据之间的相互作用限制在图内部的节点-边相互作用中，忽视了复杂的跨模态关联，导致结果次优。为克服这些挑战，我们提出了MM-GTUNets，这是一个面向脑部疾病预测的、基于图转换器的端到端多模态图深度学习（MMGDL）框架。具体而言，为充分利用与疾病相关的丰富多模态信息，我们引入了模态奖励表示学习（MRRL），通过奖励系统自适应构建人群图。此外，我们采用变分自编码器来重建与影像特征对齐的非影像特征的潜在表示。基于此，我们提出了自适应跨模态图学习（ACMGL），通过统一的GTUNet编码器（结合Graph UNet和Graph Transformer）和特征融合模块，捕获关键的模态特定特征与模态共享特征。我们在两个公开的多模态数据集ABIDE和ADHD-200上对方法进行了验证，证明其在诊断BDs方面具有优越性能。我们的代码已公开于 https://github.com/NZWANG/MM-GTUNets。
关键词
引用
@article{arxiv.2406.14455,
title = {MM-GTUNets: Unified Multi-Modal Graph Deep Learning for Brain Disorders Prediction},
author = {Luhui Cai and Weiming Zeng and Hongyu Chen and Hua Zhang and Yueyang Li and Yu Feng and Hongjie Yan and Lingbin Bian and Wai Ting Siok and Nizhuan Wang},
journal= {arXiv preprint arXiv:2406.14455},
year = {2025}
}