用于医学图像分割的类感知对抗 Transformer
计算机视觉与模式识别
2022-12-16 v5 人工智能
机器学习
图像与视频处理
摘要
Transformer 在医学图像分析领域中对长程依赖建模已取得显著进展。然而，当前基于 Transformer 的模型存在若干不足：（1）现有方法因朴素的 token 化方案而未能捕获图像的重要特征；（2）模型仅考虑单尺度特征表示，导致信息丢失；（3）未考虑丰富语义上下文与解剖纹理时，模型生成的分割标签图不够准确。本工作中，我们提出 CASTformer，一种用于二维医学图像分割的新型对抗 Transformer。首先，我们利用金字塔结构构建多尺度表示并处理多尺度变化。接着，我们设计了一种新颖的类感知 Transformer 模块，以更好地学习目标对象的具有语义结构的判别区域。最后，我们采用对抗训练策略提升分割精度，并相应使基于 Transformer 的判别器捕获高层语义相关内容与低层解剖特征。我们的实验表明，CASTformer 在三个基准上大幅优于先前最先进的基于 Transformer 的方法，Dice 系数较先前模型绝对提升 2.54%–5.88%。进一步的定性实验更详细地揭示了模型内部机制，阐明了提升可解释性方面的挑战，并证明迁移学习可大幅提升性能并缩减训练所用医学图像数据集规模，使 CASTformer 成为下游医学图像分析任务的强起点。
引用
@article{arxiv.2201.10737,
title = {Class-Aware Adversarial Transformers for Medical Image Segmentation},
author = {Chenyu You and Ruihan Zhao and Fenglin Liu and Siyuan Dong and Sandeep Chinchali and Ufuk Topcu and Lawrence Staib and James S. Duncan},
journal= {arXiv preprint arXiv:2201.10737},
year = {2022}
}