ScribFormer：Transformer 使 CNN 在基于涂鸦的医学图像分割中表现更好
计算机视觉与模式识别
2024-02-06 v1 人工智能
机器学习
摘要
最近的涂鸦监督分割方法通常采用具有编码器-解码器架构的 CNN 框架。尽管具有多种优势，但由于具有局部感受野的卷积层只能捕获小范围的特征依赖，该框架通常难以从涂鸦标注提供的有限信息中学习全局形状信息。为了解决这个问题，本文提出了一种用于涂鸦监督医学图像分割的 CNN-Transformer 混合解决方案，称为 ScribFormer。所提出的 ScribFormer 模型具有三分支结构，即 CNN 分支、Transformer 分支和注意力引导类激活图 (ACAM) 分支的混合。具体而言，CNN 分支与 Transformer 分支协作，将 CNN 学习到的局部特征与 Transformer 获得的全局表示相融合，可以有效克服现有涂鸦监督分割方法的局限性。此外，ACAM 分支有助于统一浅层卷积特征和深层卷积特征，进一步提高模型性能。在两个公开数据集和一个私有数据集上的大量实验表明，我们的 ScribFormer 优于最先进的涂鸦监督分割方法，甚至取得了比全监督分割方法更好的结果。代码发布于 https://github.com/HUANGLIZI/ScribFormer。
引用
@article{arxiv.2402.02029,
title = {ScribFormer: Transformer Makes CNN Work Better for Scribble-based Medical Image Segmentation},
author = {Zihan Li and Yuan Zheng and Dandan Shan and Shuzhou Yang and Qingde Li and Beizhan Wang and Yuanting Zhang and Qingqi Hong and Dinggang Shen},
journal= {arXiv preprint arXiv:2402.02029},
year = {2024}
}
备注
Accepted by IEEE Transactions on Medical Imaging (TMI)