U-Net Transformer：用于医学图像分割的自注意力与交叉注意力
图像与视频处理
2021-03-15 v2 计算机视觉与模式识别
摘要
对于复杂且低对比度的解剖结构，医学图像分割仍然特别具有挑战性。在本文中，我们引入 U-Transformer 网络，它将用于图像分割的 U 形架构与来自 Transformer 的自注意力和交叉注意力相结合。U-Transformer 克服了 U-Net 无法建模长程上下文交互和空间依赖性的缺陷，而这些交互与依赖性在挑战性情境下对精确分割至关重要。为此，注意力机制在两个主要层级被引入：自注意力模块利用编码器特征间的全局交互，而跳跃连接中的交叉注意力通过过滤非语义特征实现 U-Net 解码器中的精细空间恢复。在两个腹部 CT 图像数据集上的实验表明，与 U-Net 和局部注意力 U-Net 相比，U-Transformer 带来了巨大的性能提升。我们还强调了同时使用自注意力和交叉注意力的重要性，以及 U-Transformer 所带来的良好可解释性特征。
引用
@article{arxiv.2103.06104,
title = {U-Net Transformer: Self and Cross Attention for Medical Image Segmentation},
author = {Olivier Petit and Nicolas Thome and Clément Rambour and Luc Soler},
journal= {arXiv preprint arXiv:2103.06104},
year = {2021}
}