用于多模态脑肿瘤分割的模态感知与移位混合器
计算机视觉与模式识别
2024-03-05 v1 人工智能
摘要
在计算机视觉中，结合多模态图像有助于探索各种信息，在医学领域尤为如此。作为临床诊断的重要组成部分，多模态脑肿瘤分割旨在描绘涉及多种模态的恶性实体。尽管现有方法在该任务中表现出色，但它们在空间和模态上的跨尺度与高层表示融合的信息交换能力有限。在本文中，我们提出了一种新颖的模态感知与移位混合器，整合了多模态图像的模态内与模态间依赖关系，以实现有效且鲁棒的脑肿瘤分割。具体而言，我们根据神经影像学研究引入了模态感知模块，用于在低层建模特定的模态对关系；并开发了具有特定马赛克模式的模态移位模块，通过自注意力在高层探索跨模态的复杂关系。实验上，我们在公开的脑肿瘤分割数据集上超越了先前最先进的方法。进一步的定性实验证明了 MASM 的有效性与鲁棒性。
引用
@article{arxiv.2403.02074,
title = {Modality-Aware and Shift Mixer for Multi-modal Brain Tumor Segmentation},
author = {Zhongzhen Huang and Linda Wei and Shaoting Zhang and Xiaofan Zhang},
journal= {arXiv preprint arXiv:2403.02074},
year = {2024}
}