M3AE：面向缺失模态脑肿瘤分割的多模态表示学习
图像与视频处理
2023-03-10 v1 计算机视觉与模式识别
摘要
多模态磁共振成像（MRI）为脑肿瘤亚区分析提供互补信息。已有大量方法利用四种常见MRI模态进行自动脑肿瘤分割并取得了显著性能。然而在实践中，由于图像损坏、伪影、采集协议、造影剂过敏或单纯的成本原因，出现一个或多个模态缺失的情况十分常见。本工作中，我们提出了一种用于缺失模态脑肿瘤分割的新型两阶段框架。第一阶段提出多模态掩码自编码器（M3AE），其中对随机模态（即模态丢弃）和剩余模态的随机图像块进行掩码以执行重建任务，从而针对缺失模态自监督学习鲁棒的多模态表示。为此我们将该框架命名为M3AE。同时，我们以极小的额外代价采用模型反演优化一张具有代表性的全模态图像，用于在推理时替代缺失模态并提升性能。第二阶段提出一种内存高效的自我蒸馏，在异构缺失模态情形之间蒸馏知识，同时微调模型以进行监督分割。我们的M3AE属于“通吃”类型，单一模型可应用于所有可能的模态子集，因此在训练和部署上均具经济性。在BraTS 2018和2020数据集上的大量实验表明，其在缺失模态下优于现有最先进（SOTA）方法，且各组件均有效。代码见：https://github.com/ccarliu/m3ae。
引用
@article{arxiv.2303.05302,
title = {M3AE: Multimodal Representation Learning for Brain Tumor Segmentation with Missing Modalities},
author = {Hong Liu and Dong Wei and Donghuan Lu and Jinghan Sun and Liansheng Wang and Yefeng Zheng},
journal= {arXiv preprint arXiv:2303.05302},
year = {2023}
}