结合CNN与Transformer的多模态3D MRI脑肿瘤分割及自监督预训练
图像与视频处理
2021-10-18 v1 计算机视觉与模式识别
摘要
我们将改进的TransBTS、nnU-Net以及两者的组合应用于BraTS 2021挑战赛的分割任务。实际上，我们通过添加Squeeze-and-Excitation模块、增加CNN层数，以及用可学习的多层感知机（MLP）嵌入替换Transformer模块中的位置编码，改变了TransBTS模型的原始架构，这使得Transformer在推理过程中可以适应任意输入大小。通过这些修改，我们能够大幅提高TransBTS的性能。受nnU-Net框架启发，我们决定将其与改进的TransBTS结合，即将nnU-Net内部的架构替换为我们的自定义模型。在BraTS 2021的验证集上，这些方法的集成对于增强肿瘤、肿瘤核心和整个肿瘤分别实现了0.8496、0.8698、0.9256的Dice分数和15.72、11.057、3.374的HD95。我们的代码已公开提供。
引用
@article{arxiv.2110.07919,
title = {Combining CNNs With Transformer for Multimodal 3D MRI Brain Tumor Segmentation With Self-Supervised Pretraining},
author = {Mariia Dobko and Danylo-Ivan Kolinko and Ostap Viniavskyi and Yurii Yelisieiev},
journal= {arXiv preprint arXiv:2110.07919},
year = {2021}
}