从脑功能连接网络监督学习3D医学图像模型用于精神障碍诊断
计算机视觉与模式识别
2025-03-07 v1
摘要
在基于MRI的精神障碍诊断中，大多数先前研究聚焦于从功能性MRI（fMRI）导出的功能连接网络（FCN）。然而，标注fMRI数据集规模较小限制了其广泛应用。与此同时，结构性MRI（sMRI），如3D T1加权（T1w）MRI，在临床环境中常用且易于获取，但常被忽视。为了整合功能和结构两方面的互补信息以提高诊断准确性，我们提出了CINP（对比图像-网络预训练），一个在sMRI和FCN之间采用对比学习的框架。在预训练过程中，我们结合掩码图像建模和网络-图像匹配来增强视觉表示学习和模态对齐。由于CINP促进了从FCN到sMRI的知识迁移，我们引入了网络提示。它仅利用疑似患者的sMRI和来自不同患者类别的小量FCN来诊断精神障碍，这在现实临床场景中具有实用性。在三个精神障碍诊断任务上的竞争性表现证明了CINP在整合多模态MRI信息方面的有效性，以及通过网络提示将sMRI纳入临床诊断的潜力。
引用
@article{arxiv.2503.04205,
title = {Learning 3D Medical Image Models From Brain Functional Connectivity Network Supervision For Mental Disorder Diagnosis},
author = {Xingcan Hu and Wei Wang and Li Xiao},
journal= {arXiv preprint arXiv:2503.04205},
year = {2025}
}