跨模态注意力适配器：一种基于多模态脑 MR 图像利用 SAM 进行胶质瘤分割的微调方法
图像与视频处理
2025-06-23 v1 计算机视觉与模式识别
摘要
根据 2021 年世界卫生组织（WHO）胶质瘤分类方案，胶质瘤分割是诊断与基因型预测的重要基础。一般而言，3D 多模态脑 MRI 是一种有效的诊断工具。过去十年中，机器学习尤其是深度学习在医学图像处理中的使用有所增加。得益于基础模型的发展，使用大规模数据集预训练的模型在多种任务上取得了更好结果。然而，对于数据集规模较小的医学图像，深度学习方法难以在真实世界图像数据集上取得更好结果。本文中，我们提出一种基于多模态融合的跨模态注意力适配器，以微调基础模型，从而在多模态 MRI 脑图像中更好地完成胶质瘤分割任务。所提方法的有效性通过来自中国郑州郑州大学第一附属医院（FHZU）的私有胶质瘤数据集得到验证。我们的方法优于当前最先进的方法，Dice 为 88.38%、Hausdorff 距离为 10.64，从而在对胶质瘤区域进行分割时 Dice 提升了 4%，利于胶质瘤治疗。
引用
@article{arxiv.2307.01124,
title = {Cross-modality Attention Adapter: A Glioma Segmentation Fine-tuning Method for SAM Using Multimodal Brain MR Images},
author = {Xiaoyu Shi and Shurong Chai and Yinhao Li and Jingliang Cheng and Jie Bai and Guohua Zhao and Yen-Wei Chen},
journal= {arXiv preprint arXiv:2307.01124},
year = {2025}
}