Uni-Encoder Meets Multi-Encoders：针对缺失模态的脑肿瘤分割中的表示融合
计算机视觉与模式识别
2026-04-27 v1
摘要
多模态MRI为脑肿瘤分割提供互补信息，但临床扫描常常缺少一或多个模态，导致分割性能下降。本文提出UniME（Uni-Encoder Meets Multi-Encoders），一种用于缺失模态脑肿瘤分割的两阶段异构方法，在细粒度结构捕获、跨模态互补性建模和利用可用模态三个方面实现权衡。其思想是通过两阶段异构架构将表示学习从分割中解耦。阶段1预训练单个ViT Uni-Encoder通过掩码图像建模建立对缺失模态稳健的统一表示。阶段2添加模态特定的CNN Multi-Encoder从而提取高分辨率、多尺度、细粒度特征。我们将这些特征与全局表示融合以产生精确的分割。在BraTS 2023和BraTS 2024上的实验表明，UniME在不完整多模态情景下优于先前方法。代码可在https://github.com/Hooorace-S/UniME获取。
引用
@article{arxiv.2604.22177,
title = {Uni-Encoder Meets Multi-Encoders: Representation Before Fusion for Brain Tumor Segmentation with Missing Modalities},
author = {Peibo Song and Xiaotian Xue and Jinshuo Zhang and Zihao Wang and Jinhua Liu and Shujun Fu and Fangxun Bao and Si Yong Yeo},
journal= {arXiv preprint arXiv:2604.22177},
year = {2026}
}
备注
CVPR 2026 Poster