RTGMFF：通过ROI驱动文本生成与多模态特征融合增强fMRI脑疾病诊断
计算机视觉与模式识别
2026-03-03 v2
摘要
功能性磁共振成像（fMRI）是探测脑功能的强大工具，但可靠的临床诊断受到低信噪比、被试间变异性以及现有CNN和Transformer模型频率感知能力有限的阻碍。此外，大多数fMRI数据集缺乏可上下文化区域激活和连接模式的文本标注。我们提出RTGMFF，一个统一自动ROI级文本生成与多模态特征融合用于脑疾病诊断的框架。RTGMFF包含三个组件：(i) ROI驱动的fMRI文本生成将每个被试的激活、连接、年龄和性别确定性地压缩为可复现的文本标记；(ii) 混合频率-空间编码器融合层次化小波-mamba分支与跨尺度Transformer编码器，以捕获频率域结构及长程空间依赖；(iii) 自适应语义对齐模块将ROI标记序列和视觉特征嵌入共享空间，利用正则化余弦相似度损失缩小模态差距。在ADHD-200和ABIDE基准上的广泛实验表明，RTGMFF在诊断准确率上超越现有方法，在灵敏度、特异性和ROC曲线下面积方面取得显著提升。代码位于 https://github.com/BeistMedAI/RTGMFF。
引用
@article{arxiv.2509.03214,
title = {RTGMFF: Enhanced fMRI-based Brain Disorder Diagnosis via ROI-driven Text Generation and Multimodal Feature Fusion},
author = {Junhao Jia and Yifei Sun and Yunyou Liu and Cheng Yang and Changmiao Wang and Feiwei Qin and Yong Peng and Wenwen Min},
journal= {arXiv preprint arXiv:2509.03214},
year = {2026}
}
备注
The paper has been accepted by BIBM 2025