用于医学图像分割的混合Transformer U-Net
图像与视频处理
2021-11-12 v2 人工智能
计算机视觉与模式识别
摘要
尽管U-Net在医学图像分割任务中取得了巨大成功，但它缺乏显式建模长程依赖的能力。因此，Vision Transformers近期作为替代分割结构出现，因其通过自注意力（SA）捕获长程相关性的先天能力。然而，Transformers通常依赖大规模预训练且计算复杂度高。此外，SA只能建模单个样本内的自相似性，忽略了整体数据集的潜在相关性。为解决这些问题，我们提出一种名为混合Transformer模块（MTM）的新型Transformer模块，用于同时学习样本间与样本内相似性。MTM首先通过我们精心设计的局部-全局高斯加权自注意力（LGG-SA）高效计算自相似性，然后通过外部注意力（EA）挖掘数据样本间的相互关联。利用MTM，我们构建了名为混合Transformer U-Net（MT-UNet）的U形模型用于精准医学图像分割。我们在两个不同公开数据集上测试了方法，实验结果表明所提方法优于其他最先进方法。代码见：https://github.com/Dootmaan/MT-UNet。
引用
@article{arxiv.2111.04734,
title = {Mixed Transformer U-Net For Medical Image Segmentation},
author = {Hongyi Wang and Shiao Xie and Lanfen Lin and Yutaro Iwamoto and Xian-Hua Han and Yen-Wei Chen and Ruofeng Tong},
journal= {arXiv preprint arXiv:2111.04734},
year = {2021}
}