重新思考注意力门控与混合双金字塔Transformer-CNN用于医学影像通用分割
图像与视频处理
2024-04-30 v1 计算机视觉与模式识别
摘要
受Transformer在计算机视觉中成功的启发，Transformer已被广泛研究用于医学影像分割。然而，大多数Transformer架构将最新的Transformer架构用作编码器或与CNN编码器并行使用。在本文中，我们介绍了一种新颖的混合CNN-Transformer分割架构（PAG-TransYnet），旨在高效构建强大的CNN-Transformer编码器。我们的方法在双金字塔混合编码器中利用注意力门控。该方法的主要贡献可概括为三个关键方面：（i）利用金字塔输入来突出不同尺度的显著特征，（ii）引入PVT Transformer以捕获不同分辨率下的长程依赖关系，以及（iii）实现双注意力门控机制以有效融合来自CNN和Transformer分支的显著特征。通过在不同分割任务上的全面评估，包括：腹部多器官分割、感染分割（Covid-19和骨转移）、显微组织分割（腺体和细胞核）。所提出的方法展示了最先进的性能，并表现出卓越的泛化能力。这项研究朝着解决医学影像应用中高效且适应性强的分割解决方案的迫切需求迈出了重要一步。
引用
@article{arxiv.2404.18199,
title = {Rethinking Attention Gated with Hybrid Dual Pyramid Transformer-CNN for Generalized Segmentation in Medical Imaging},
author = {Fares Bougourzi and Fadi Dornaika and Abdelmalik Taleb-Ahmed and Vinh Truong Hoang},
journal= {arXiv preprint arXiv:2404.18199},
year = {2024}
}