AFTer-UNet：用于医学图像分割的轴向融合Transformer UNet
图像与视频处理
2021-10-22 v1 计算机视觉与模式识别
机器学习
摘要
近期基于transformer的模型进展引发了在医学图像分割中探索这些技术的关注，尤其在与U-Net模型（或其变体）结合方面，后者在2D与3D设定下的医学图像分割均已展现巨大成功。当前基于2D的方法要么直接用纯transformer替换卷积层，要么将transformer视为U-Net编码器与解码器之间的额外中间编码器。然而，这些方法仅考虑单切片内的注意力编码，未利用3D体数据自然提供的轴向信息。在3D设定下，体数据上的卷积与transformer均消耗大量GPU内存。人们不得不对图像下采样或使用裁剪的局部块以减少GPU内存占用，这限制了性能。本文提出轴向融合Transformer UNet（AFTer-UNet），其兼具卷积层提取细节特征的能力与transformer长序列建模的优势，同时考虑片内与片间长程线索以引导分割。此外，其参数量少于且训练所需GPU内存少于先前基于transformer的模型。在三个多器官分割数据集上的大量实验表明，我们的方法优于当前最先进方法。
引用
@article{arxiv.2110.10403,
title = {AFTer-UNet: Axial Fusion Transformer UNet for Medical Image Segmentation},
author = {Xiangyi Yan and Hao Tang and Shanlin Sun and Haoyu Ma and Deying Kong and Xiaohui Xie},
journal= {arXiv preprint arXiv:2110.10403},
year = {2021}
}