TransFuse：融合 Transformer 与 CNN 的医学图像分割
计算机视觉与模式识别
2021-07-13 v2 人工智能
摘要
医学图像分割——众多临床需求的前提——因卷积神经网络（CNNs）的近期进展而显著繁荣。然而，其在建模显式长程关系上表现出普遍局限，而现有补救依赖于构建深层编码器与激进下采样操作，导致冗余的加深网络与局部细节丢失。因此，分割任务亟待更优方案，以在提升全局上下文建模效率的同时保持对低层细节的把握。本文提出一种新颖的并行分支架构 TransFuse 应对此挑战。TransFuse 以并行方式结合 Transformers 与 CNNs，从而以更浅的结构高效捕获全局依赖与低层空间细节。此外，创建了新颖的融合技术——BiFusion 模块，以高效融合两分支的多级特征。大量实验表明，TransFuse 在息肉、皮肤病变、髋与前列腺分割等 2D 与 3D 医学图像集上均取得最新最先进结果，且参数量显著下降、推理速度提升。
引用
@article{arxiv.2102.08005,
title = {TransFuse: Fusing Transformers and CNNs for Medical Image Segmentation},
author = {Yundong Zhang and Huiye Liu and Qiang Hu},
journal= {arXiv preprint arXiv:2102.08005},
year = {2021}
}
备注
Accepted by MICCAI 2021