HiFormer：基于 Transformer 的层次化多尺度表示用于医学图像分割
计算机视觉与模式识别
2023-01-10 v2 人工智能
摘要
卷积神经网络（CNNs）一直是医学图像分割任务的主流方法。然而，由于卷积操作的性质，它们在建模长程依赖与空间关联方面存在局限。尽管 Transformer 最初正是为解决此问题而提出，但其未能捕获低级特征。相反，研究表明局部与全局特征对于密集预测（如在复杂语境下分割）均至关重要。本文中，我们提出 HiFormer，一种高效桥接 CNN 与 transformer 用于医学图像分割的新方法。具体而言，我们利用经典的 Swin Transformer 模块与基于 CNN 的编码器设计了两种多尺度特征表示。为保障从上述两种表示获得的全局与局部特征精细融合，我们在编码器-解码器结构的跳跃连接中提出双级融合（DLF）模块。在多个医学图像分割数据集上的大量实验表明，HiFormer 在计算复杂度及定量与定性结果上均优于其他基于 CNN、基于 transformer 及混合的方法。我们的代码公开于：https://github.com/amirhossein-kz/HiFormer
引用
@article{arxiv.2207.08518,
title = {HiFormer: Hierarchical Multi-scale Representations Using Transformers for Medical Image Segmentation},
author = {Moein Heidari and Amirhossein Kazerouni and Milad Soltany and Reza Azad and Ehsan Khodapanah Aghdam and Julien Cohen-Adad and Dorit Merhof},
journal= {arXiv preprint arXiv:2207.08518},
year = {2023}
}
备注
The accepted version of the paper at WACV 2023