面向多模态脑肿瘤分割的模态-切片记忆框架与类别无关提示
计算机视觉与模式识别
2025-10-14 v1
摘要
多模态脑肿瘤分割对于临床诊断至关重要，需准确识别不同内部解則亚区。虽然最近的基于提示的分割范式为临床医生提供了交互式体验，但现有方法忽略跨模态相关性，依赖耗时的类别特定提示，限制了其在实际场景中的应用。为此，我们提出了用于多模态脑肿瘤分割的 MSM-Seg 框架。MSM-Seg 引入一种新颖的双记忆分割范式，协同集成多模态和跨切片信息，同时高效地采用类别无关提示进行脑肿瘤理解。为此，我们首先设计了模态-切片记忆注意力 (MSMA)，以挖掘输入扫描之间的跨模态和跨切片关系。随后，我们提出了多尺度类别无关提示编码器 (MCP-Encoder)，为解码提供肿瘤区域指导。此外，我们设计了模态自适应融合解码器 (MF-Decoder)，利用不同模态中互补的解码信息以提高分割精度。大量实验表明，我们的 MSM-Seg 框架在多模态转移灶和脑肿瘤分割方面优于最新方法。代码已公开于 https://github.com/xq141839/MSM-Seg。
引用
@article{arxiv.2510.10679,
title = {MSM-Seg: A Modality-and-Slice Memory Framework with Category-Agnostic Prompting for Multi-Modal Brain Tumor Segmentation},
author = {Yuxiang Luo and Qing Xu and Hai Huang and Yuqi Ouyang and Zhen Chen and Wenting Duan},
journal= {arXiv preprint arXiv:2510.10679},
year = {2025}
}
备注
Under Review