更复杂的编码器并非你所需要的一切
图像与视频处理
2023-10-30 v3 计算机视觉与模式识别
摘要
U-Net 及其变体已被广泛用于医学图像分割。然而，当前大多数 U-Net 变体将其改进策略局限于构建更复杂的编码器，而保持解码器不变或采用简单的对称结构。这些方法忽视了解码器的真正功能：接收来自编码器的低分辨率特征图，并通过上采样恢复特征图分辨率与丢失的信息。因此，解码器尤其是其上采样组件，在提升分割结果方面起着关键作用。但在 3D 医学图像分割中，常用的转置卷积会导致视觉伪影。该问题源于输出特征图中相邻像素之间缺乏直接关联。此外，普通编码器已具备足够的特征提取能力，因为下采样操作导致感受野逐步扩大，但下采样过程中的信息丢失不可忽视。为弥补相关研究的空白，我们将关注点扩展至编码器之外，提出 neU-Net（即非复杂编码器 U-Net），其引入一种新颖的子像素卷积用于上采样以构建强大的解码器。另外，我们在编码器侧引入多尺度小波输入模块以提供额外信息。我们的模型设计取得了优异结果，在 Synapse 与 ACDC 数据集上均超越其他最先进方法。
引用
@article{arxiv.2309.11139,
title = {More complex encoder is not all you need},
author = {Weibin Yang and Longwei Xu and Pengwei Wang and Dehua Geng and Yusong Li and Mingyuan Xu and Zhiqi Dong},
journal= {arXiv preprint arXiv:2309.11139},
year = {2023}
}