用于医学图像分割的全卷积Transformer
图像与视频处理
2023-01-31 v2 计算机视觉与模式识别
摘要
我们提出了一种新颖的Transformer模型，能够分割不同模态的医学图像。医学图像分析细粒度的特性所带来的挑战意味着，Transformer在其分析中的适配仍处于起步阶段。UNet的巨大成功在于其能领会分割任务的细粒度本质，而现有基于Transformer的模型目前不具备这一能力。为弥补此不足，我们提出了全卷积Transformer（FCT），它建立在卷积神经网络学习有效图像表示的已被证实的能力之上，并将其与Transformer有效捕获输入中长期依赖关系的能力相结合。FCT是医学影像文献中首个全卷积Transformer模型。它分两个阶段处理输入：首先学习从输入图像中提取长程语义依赖，然后学习从特征中捕获分层全局属性。FCT紧凑、准确且鲁棒。我们的结果表明，在多个不同数据模态的医学图像分割数据集上，它以较大优势超越所有现有Transformer架构，且无需任何预训练。在dice指标上，FCT在ACDC数据集上以少至多五倍参数的优势超越其直接竞争者1.3%，在Synapse数据集上超越4.4%，在Spleen数据集上超越1.2%，在ISIC 2017数据集上超越1.1%。我们的代码、环境和模型将通过GitHub提供。
引用
@article{arxiv.2206.00566,
title = {The Fully Convolutional Transformer for Medical Image Segmentation},
author = {Athanasios Tragakis and Chaitanya Kaul and Roderick Murray-Smith and Dirk Husmeier},
journal= {arXiv preprint arXiv:2206.00566},
year = {2023}
}