用于脑疾病分析的脑基础模型与超图动态适配器
计算机视觉与模式识别
2025-05-02 v1
摘要
阿尔茨海默病和脑肿瘤等脑疾病由于其复杂性及对社会的影响，带来了深刻的挑战。脑基础模型的最新进展在处理一系列脑相关任务方面展现出了巨大的前景。然而，当前的脑基础模型受限于任务与数据的同质性、在分割或分类之外的泛化能力有限，以及对多样临床任务适应效率低下。在本工作中，我们提出了 SAM-Brain3D，这是一个在超过 66,000 个脑图像-标签对和 14 种 MRI 子模态上训练的脑特定基础模型，以及超图动态适配器（HyDA），一个用于高效且有效的下游适应的轻量级适配器。SAM-Brain3D 捕获了详细的脑特定解剖和模态先验，用于分割多样的脑目标和更广泛的下游任务。HyDA 利用超图融合互补的多模态数据，并动态生成患者特定的卷积核，以实现多尺度特征融合与个性化的逐患者适应。结合在一起，我们的框架在广泛的脑疾病分割与分类任务中表现出色。大量实验表明，我们的方法持续优于现有的 SOTA 方法，通过多模态、多尺度和动态基础建模为脑疾病分析提供了一种新范式。
引用
@article{arxiv.2505.00627,
title = {Brain Foundation Models with Hypergraph Dynamic Adapter for Brain Disease Analysis},
author = {Zhongying Deng and Haoyu Wang and Ziyan Huang and Lipei Zhang and Angelica I. Aviles-Rivero and Chaoyu Liu and Junjun He and Zoe Kourtzi and Carola-Bibiane Schönlieb},
journal= {arXiv preprint arXiv:2505.00627},
year = {2025}
}
备注
35 pages, 4 figures