医学图像分割中基于深度学习的跨维度迁移学习
图像与视频处理
2023-08-01 v1 计算机视觉与模式识别
机器学习
摘要
在过去十年中，卷积神经网络崭露头角并推进了各类图像分析与计算机视觉应用的最先进水平。2D 图像分类网络的性能不断提升，并在由数百万自然图像构成的数据库上训练。然而，医学图像分析的进展受限于标注数据不足与采集约束。考虑到医学影像数据的体数据特性，这些限制更为显著。本文中，我们提出了一种高效方法，将训练于自然图像上的 2D 分类网络的有效性迁移至 2D、3D 单模态与多模态医学图像分割应用。为此，我们基于两项关键原则设计了新颖架构：通过将 2D 预训练编码器嵌入更高维 U-Net 实现权重迁移，以及通过将 2D 分割网络扩展为更高维网络实现维度迁移。所提网络在包含不同模态的基准上测试：MR、CT 与超声图像。我们的 2D 网络在专注于超声心动图数据分割的 CAMUS 挑战赛上排名第一，并超越了最先进水平。对于来自 CHAOS 挑战赛的 2D/3D MR 与 CT 腹部图像，我们的方法在 Dice、RAVD、ASSD 与 MSSD 分数上大幅优于挑战赛论文中描述的其他基于 2D 的方法，并在在线评估平台上排名第三。我们应用于 BraTS 2022 竞赛的 3D 网络也取得了有前景的结果，基于权重（维度）迁移的方法对全肿瘤、肿瘤核心与增强肿瘤分别达到平均 Dice 分数 91.69%（91.22%）、83.23%（84.77%）与 81.75%（83.88%）。实验与定性结果展示了我们的方法在多维度医学图像分割中的有效性。
引用
@article{arxiv.2307.15872,
title = {Cross-dimensional transfer learning in medical image segmentation with deep learning},
author = {Hicham Messaoudi and Ahror Belaid and Douraied Ben Salem and Pierre-Henri Conze},
journal= {arXiv preprint arXiv:2307.15872},
year = {2023}
}
备注
30 pages, 12 figures, 6 tables, Accepted for publication in the Journal of Medical Image Analysis