统一多模态连贯场：用于脑肿瘤分割的同步语义-空间-视觉融合
计算机视觉与模式识别
2025-09-23 v1
摘要
脑肿瘤分割需要准确识别包括整体肿瘤（WT）、肿瘤核心（TC）和增强肿瘤（ET）在内的分层区域，这些区域来自多序列磁共振成像（MRI）图像。由于肿瘤组织的异质性、边界的模糊以及MRI序列之间的对比度变化，仅依赖视觉信息或事后损失约束的方法在边界描绘和层次结构保持方面表现不稳定。为此，我们提出了统一多模态连贯场（UMCF）方法。该方法在统一的3D 隐空间中实现了视觉、语义和空间信息的同步交互式融合，通过参数无关的不确定性门控自适应调整各模态的贡献，并将医学先验知识直接参与注意力计算，避免了传统的“处理后拼接”分离架构。在Brain Tumor Segmentation（BraTS）2020 和 2021 数据集上，UMCF+nnU-Net 达到分别为0.8579和0.8977的平均Dice系数，平均提高了4.18%。通过深入整合临床知识与影像特征，UMCF为精密医学的多模态信息融合提供了新的技术路径。
引用
@article{arxiv.2509.17520,
title = {Unified Multimodal Coherent Field: Synchronous Semantic-Spatial-Vision Fusion for Brain Tumor Segmentation},
author = {Mingda Zhang and Yuyang Zheng and Ruixiang Tang and Jingru Qiu and Haiyan Ding},
journal= {arXiv preprint arXiv:2509.17520},
year = {2025}
}
备注
8 pages, 3 figures