利用内模不对称性和跨模依赖增强不完整多模态脑肿瘤分割
计算机视觉与模式识别
2024-06-17 v1
摘要
深度学习驱动的脑肿瘤分割 (BTS) 模型在多模态 MRI 图像上近年来取得了显著进展。然而，实际应用中常见问题是由于扫描方案和患者情况的不同，导致某些模态不可用，使得仅凭不完整 MRI 模态进行分割颇具挑战。以往方法通过融合可获取的多模态特征、利用注意力机制和使用生成模型合成缺失模态来解决此问题，但这些方法忽视了医学图像分割的内在问题，如样本稀缺，尤其是肿瘤病例。此外，这些方法需要为每种缺失模态子集训练和部署特定模型。为此，我们提出一种新方法，从两个角度增强 BTS 模型。首先，我们引入预训练阶段，通过覆盖不同训练样本中肿瘤形状和脑解剖结构的各种组合，生成多样化的预训练数据集。其次，我们提出后训练阶段，当仅提供部分模态时，使模型能够在预测结果中重建缺失模态。为实现预训练阶段，我们概念性地将 MRI 图像分为两个部分：'解剖结构' 和 '肿瘤'。我们使用来自不同训练样本的解剖结构和肿瘤部分生成的合成数据进行 BTS 模型预训练。实验结果表明，我们的方法显著优于基线方法，在三个脑肿瘤分割数据集 BRATS2020、BRATS2018 和 BRATS2015 上实现了新的最佳结果。
关键词
引用
@article{arxiv.2406.10175,
title = {Enhancing Incomplete Multi-modal Brain Tumor Segmentation with Intra-modal Asymmetry and Inter-modal Dependency},
author = {Weide Liu and Jingwen Hou and Xiaoyang Zhong and Huijing Zhan and Jun Cheng and Yuming Fang and Guanghui Yue},
journal= {arXiv preprint arXiv:2406.10175},
year = {2024}
}