TransBTS：基于 Transformer 的多模态脑肿瘤分割
计算机视觉与模式识别
2021-06-29 v2 人工智能
摘要
Transformer 利用自注意力机制可从全局（长程）信息建模中获益，近年来在自然语言处理和 2D 图像分类中取得了成功。然而，局部与全局特征对于密集预测任务都至关重要，尤其是 3D 医学图像分割。本文首次在 3D CNN 中引入 Transformer 用于 MRI 脑肿瘤分割，并基于编码器-解码器结构提出了一种名为 TransBTS 的新颖网络。为捕获局部 3D 上下文信息，编码器首先利用 3D CNN 提取体素空间特征图。同时，特征图被精心重构为 token，输入 Transformer 进行全局特征建模。解码器利用 Transformer 嵌入的特征，并执行渐进式上采样以预测精细的分割图。在 BraTS 2019 和 2020 数据集上的大量实验结果表明，TransBTS 在 3D MRI 扫描的脑肿瘤分割上取得了与先前最先进 3D 方法相当或更高的结果。源代码可在 https://github.com/Wenxuan-1119/TransBTS 获取。
引用
@article{arxiv.2103.04430,
title = {TransBTS: Multimodal Brain Tumor Segmentation Using Transformer},
author = {Wenxuan Wang and Chen Chen and Meng Ding and Jiangyun Li and Hong Yu and Sen Zha},
journal= {arXiv preprint arXiv:2103.04430},
year = {2021}
}