DeepPyramid+: 使用金字塔视图融合与可变形金字塔感受野的医学图像分割
计算机视觉与模式识别
2023-12-07 v1
摘要
语义分割在医学图像和视频分析的许多应用中起着关键作用。然而，由于相关类别的多样化特征，包括异质性、可变形性、透明性、模糊边界和各种失真，设计用于医学图像和手术视频分割的神经网络架构具有挑战性。我们提出了一种网络架构DeepPyramid+，它解决了医学图像和手术视频分割中遇到的各种挑战。所提出的DeepPyramid+包含两个主要模块，即“金字塔视图融合”（PVF）和“可变形金字塔感受野”（DPR），以应对上述挑战。PVF在神经网络内复制了一个推理过程，与人类视觉系统一致，从而增强了每个像素位置相对信息的表示。作为补充，DPR引入了使用扩张可变形卷积的形状和尺度自适应特征提取技术，提高了处理异质性类别和可变形形状的准确性和鲁棒性。在包括子宫内膜异位症视频、MRI图像、OCT扫描、白内障和腹腔镜视频等多个数据集上进行的大量实验表明，DeepPyramid+在处理形状和尺度变化、反射和模糊退化等各种挑战方面的有效性。DeepPyramid+在分割性能上表现出显著改进，在域内分割中Dice系数提高了3.65%，在跨域分割中Dice系数提高了17%。考虑到不同的骨干网络，DeepPyramid+在各种模态上始终优于最先进的网络，展示了其多功能性。
引用
@article{arxiv.2312.03409,
title = {DeepPyramid+: Medical Image Segmentation using Pyramid View Fusion and Deformable Pyramid Reception},
author = {Negin Ghamsarian and Sebastian Wolf and Martin Zinkernagel and Klaus Schoeffmann and Raphael Sznitman},
journal= {arXiv preprint arXiv:2312.03409},
year = {2023}
}
备注
13 pages, 3 figures