面向多模态脑肿瘤分割的子区域感知模态融合与自适应提示
计算机视觉与模式识别
2026-01-23 v1
摘要
将基础模型成功适配到多模态医学影像是一个关键但尚未解决的挑战。现有模型通常难以有效融合来自多个来源的信息，并适应病理组织的异质性。为解决此问题，我们引入了一种将基础模型适配到多模态医学影像的新型框架，该框架包含两项关键技术创新：子区域感知模态注意力和自适应提示工程。该注意力机制使模型能够为每个肿瘤子区域学习最优的模态组合，而自适应提示策略则利用基础模型的固有能力来细化分割精度。我们在 BraTS 2020 脑肿瘤分割数据集上验证了我们的框架，结果表明我们的方法显著优于基线方法，尤其是在具有挑战性的坏死核心子区域。我们的工作为多模态融合和提示提供了一种原则性且有效的方法，为在医学影像中构建更准确、更鲁棒的基于基础模型的解决方案铺平了道路。
引用
@article{arxiv.2601.15734,
title = {Sub-Region-Aware Modality Fusion and Adaptive Prompting for Multi-Modal Brain Tumor Segmentation},
author = {Shadi Alijani and Fereshteh Aghaee Meibodi and Homayoun Najjaran},
journal= {arXiv preprint arXiv:2601.15734},
year = {2026}
}