nnFormer：用于体分割的交错 Transformer
计算机视觉与模式识别
2022-02-07 v6
摘要
Transformer 作为自然语言处理的首选模型，鲜少受到医学影像领域的关注。鉴于利用长期依赖关系的能力，transformers 有望帮助非典型卷积神经网络克服其固有的空间归纳偏置缺陷。然而，大多数近期提出的基于 transformer 的分割方法只是将 transformers 当作辅助模块，以将全局上下文编码进卷积表示中。为解决此问题，我们引入 nnFormer，一种用于体医学图像分割的 3D transformer。nnFormer 不仅利用了交错卷积与自注意力操作的组合，还引入了基于局部和全局体的自注意力机制来学习体表示。此外，nnFormer 提出使用跳跃注意力替代类 U-Net 架构中跳跃连接的传统拼接/求和操作。实验表明，在三个公开数据集上 nnFormer 以大幅优势显著优于先前基于 transformer 的方法。与 nnUNet 相比，nnFormer 产生的 HD95 显著更低且 DSC 结果相当。进一步，我们展示了 nnFormer 与 nnUNet 在模型集成上高度互补。
引用
@article{arxiv.2109.03201,
title = {nnFormer: Interleaved Transformer for Volumetric Segmentation},
author = {Hong-Yu Zhou and Jiansen Guo and Yinghao Zhang and Lequan Yu and Liansheng Wang and Yizhou Yu},
journal= {arXiv preprint arXiv:2109.03201},
year = {2022}
}
备注
Journal version: more experiments and thorough comparison with nnUNet. Codes and models of nnFormer are available at https://git.io/JSf3i