缩小 U-Net 中语义鸿沟的可学习跳跃连接：以医学图像分割为例
图像与视频处理
2023-12-27 v1 计算机视觉与模式识别
机器学习
摘要
大多数最先进的医学图像分割方法采用编码器-解码器架构。然而，这种U形框架在通过简单的跳跃连接捕获非局部多尺度信息方面仍然存在局限性。为了解决这个问题，我们首先探讨了U-Net中跳跃连接在多个分割任务上的潜在弱点，发现：i) 并非所有跳跃连接都有用，每个跳跃连接有不同的贡献；ii) 跳跃连接的最优组合不同，取决于具体的数据集。基于我们的发现，我们提出了一个新的分割框架，命名为UDTransNet，以解决U-Net中的三个语义鸿沟。具体来说，我们提出了一个双注意力变换器（DAT）模块，用于捕获通道和空间关系以更好地融合编码器特征，以及一个解码器引导的重新校准注意力（DRA）模块，用于有效连接DAT令牌和解码器特征以消除不一致性。因此，两个模块建立了一个可学习的连接来解决编码器和解码器之间的语义鸿沟，从而为医学图像提供了一个高性能的分割模型。全面的实验结果表明，我们的UDTransNet在不同的公共数据集上，以相对较少的参数，比最先进的分割方法产生了更高的评估分数和更精细的分割结果。代码：https://github.com/McGregorWwww/UDTransNet。
引用
@article{arxiv.2312.15182,
title = {Narrowing the semantic gaps in U-Net with learnable skip connections: The case of medical image segmentation},
author = {Haonan Wang and Peng Cao and Xiaoli Liu and Jinzhu Yang and Osmar Zaiane},
journal= {arXiv preprint arXiv:2312.15182},
year = {2023}
}