以 TransCeption 增强医学图像分割：一种多尺度特征融合方法
计算机视觉与模式识别
2023-01-27 v1
摘要
尽管基于 CNN 的方法因其良好性能与鲁棒性而成为医学图像分割的基石，但其在捕捉长程依赖方面存在局限。基于 Transformer 的方法当前正流行，因其扩大感受野以建模全局上下文关联。为进一步提取丰富表征，一些 U-Net 的扩展采用多尺度特征提取与融合模块并获改进性能。受此启发，我们提出用于医学图像分割的 TransCeption，一种纯基于 transformer 的 U 形网络，其特点是将类 Inception 模块融入编码器并采用上下文桥接以实现更好特征融合。本工作的设计基于三项核心原则：（1）编码器中的块合并模块经重新设计为 ResInception 块合并（RIPM）。多分支 transformer（MB transformer）采用与 RIPM 输出相同数量的支路。结合两模块使模型能在单阶段捕获多尺度表征。（2）我们在 MB transformer 后构建阶段内特征融合（IFF）模块，以增强所有支路特征图的聚合，并特别关注所有尺度不同通道间的交互。（3）与仅含逐 token 自注意力的桥接不同，我们提出双 Transformer 桥接，其同时包含通道自注意力，从双视角利用不同阶段间尺度的关联。在多器官与皮肤病变分割任务上的大量实验展示了 TransCeption 优于以往工作的性能。代码公开于 \url{https://github.com/mindflow-institue/TransCeption}。
引用
@article{arxiv.2301.10847,
title = {Enhancing Medical Image Segmentation with TransCeption: A Multi-Scale Feature Fusion Approach},
author = {Reza Azad and Yiwei Jia and Ehsan Khodapanah Aghdam and Julien Cohen-Adad and Dorit Merhof},
journal= {arXiv preprint arXiv:2301.10847},
year = {2023}
}
备注
Submitted to IEEE TMI Journal