UCTransNet：基于 Transformer 从通道视角重新思考 U-Net 中的跳跃连接
计算机视觉与模式识别
2022-01-26 v3 机器学习
图像与视频处理
摘要
大多数最新的语义分割方法采用带有编码器-解码器架构的 U-Net 框架。对于采用简单跳跃连接方案的 U-Net 来说，建模全局多尺度上下文仍然具有挑战性：1）由于编码器和解码器阶段特征集不兼容的问题，并非每个跳跃连接设置都是有效的，甚至某些跳跃连接会对分割性能产生负面影响；2）在某些数据集上，原始 U-Net 的表现比没有任何跳跃连接的网络更差。基于我们的发现，我们从带有注意力机制的通道视角提出了一种新的分割框架，命名为 UCTransNet（在 U-Net 中提出了 CTrans 模块）。具体而言，CTrans 模块是 U-Net 跳跃连接的替代品，它由一个利用 Transformer 进行多尺度通道交叉融合的子模块（命名为 CCT）和一个通道级交叉注意力子模块（命名为 CCA）组成，后者引导融合后的多尺度通道信息有效地连接到解码器特征以消除歧义。因此，由 CCT 和 CCA 组成的所提连接能够替代原始跳跃连接，以解决语义鸿沟问题，从而实现精确的自动医学图像分割。实验结果表明，我们的 UCTransNet 产生了更精确的分割性能，并在涉及 Transformer 或 U 型框架的不同数据集和传统架构上，相较于最先进的方法取得了一致的改进。代码：https://github.com/McGregorWwww/UCTransNet。
引用
@article{arxiv.2109.04335,
title = {UCTransNet: Rethinking the Skip Connections in U-Net from a Channel-wise Perspective with Transformer},
author = {Haonan Wang and Peng Cao and Jiaqi Wang and Osmar R. Zaiane},
journal= {arXiv preprint arXiv:2109.04335},
year = {2022}
}
备注
Accepted by AAAI 2022. Code is available at https://github.com/McGregorWwww/UCTransNet