UNet++：重新设计跳跃连接以利用图像分割中的多尺度特征
图像与视频处理
2020-01-30 v2 计算机视觉与模式识别
机器学习
摘要
医学图像分割的最先进模型是 U-Net 与全卷积网络（FCN）的变体。尽管取得成功，这些模型有两个局限：（1）其最优深度先验未知，需大量架构搜索或不同深度模型的高效集成；（2）其跳跃连接施加了不必要的严格融合方案，迫使仅在编码器与解码器子网络的同尺度特征图上聚合。为克服这两局限，我们提出 UNet++，一种用于语义与实例分割的新神经架构，通过（1）以不同深度 U-Net 的高效集成缓解未知网络深度，其部分共享编码器并利用深度监督同时协同学习；（2）重新设计跳跃连接以在解码器子网络聚合不同语义尺度的特征，形成高度灵活的特征融合方案；（3）设计剪枝方案以加速 UNet++ 推理速度。我们使用六个不同医学图像分割数据集评估 UNet++，涵盖计算机断层扫描（CT）、磁共振成像（MRI）与电子显微镜（EM）等多种成像模态，表明（1）UNet++ 在不同数据集与骨干架构的语义分割任务上一致优于基线模型；（2）UNet++ 增强了不同大小物体的分割质量——优于固定深度 U-Net；（3）Mask RCNN++（采用 UNet++ 设计的 Mask R-CNN）在实例分割任务上优于原始 Mask R-CNN；（4）剪枝后的 UNet++ 模型在仅轻微性能下降的同时实现显著加速。我们的实现与预训练模型见 https://github.com/MrGiovanni/UNetPlusPlus。
引用
@article{arxiv.1912.05074,
title = {UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation},
author = {Zongwei Zhou and Md Mahfuzur Rahman Siddiquee and Nima Tajbakhsh and Jianming Liang},
journal= {arXiv preprint arXiv:1912.05074},
year = {2020}
}
备注
Journal of IEEE Transactions on Medical Imaging