CoTr:高效桥接CNN与Transformer用于三维医学图像分割
计算机视觉与模式识别
2021-03-05 v1
摘要
卷积神经网络(CNN)已成为当今三维医学图像分割的事实标准。然而,这些网络中使用的卷积操作由于其局部性和权值共享的归纳偏置,在建模长程依赖方面不可避免地存在局限。尽管Transformer生来为解决此问题,但其在处理高分辨率三维特征图时面临极高的计算和空间复杂度。本文提出一种新颖框架,高效桥接卷积神经网络与Transformer(CoTr)以实现精准的三维医学图像分割。在该框架下,CNN用于提取特征表示,并构建高效的形变Transformer(DeTrans)以在提取的特征图上建模长程依赖。与平等对待所有图像位置的原始Transformer不同,我们的DeTrans通过引入可形变自注意力机制仅关注一小部分关键位置。因此,DeTrans的计算和空间复杂度大幅降低,使其能够处理多尺度高分辨率特征图,而后者对图像分割通常至关重要。我们在涵盖11个主要人体器官的Multi-Atlas Labeling Beyond the Cranial Vault (BCV)数据集上进行了广泛评估。结果表明,在三维多器官分割任务上,我们的CoTr相较其他基于CNN、基于Transformer及混合的方法均带来显著性能提升。代码见 https://github.com/YtongXie/CoTr
引用
@article{arxiv.2103.03024,
title = {CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation},
author = {Yutong Xie and Jianpeng Zhang and Chunhua Shen and Yong Xia},
journal= {arXiv preprint arXiv:2103.03024},
year = {2021}
}
备注
13 pages