监督 3D 模型在医学影像任务中的迁移效果如何？
图像与视频处理
2025-01-22 v1 计算机视觉与模式识别
摘要
迁移学习中的预训练和微调范式日益受到关注。例如，如果模型在 ImageNet 上预训练，然后在 PASCAL 上微调，其性能将显著优于在 PASCAL 上从头训练的模型。尽管 ImageNet 预训练显示出巨大的成功，但其形成于二维，所学特征针对分类任务；当迁移到更加多样化的任务（如 3D 图像分割）时，由于偏离原始 ImageNet 背景，性能不可避免地受到影响。一个显著的挑战在于缺乏规模赶赶 ImageNet 的大型标注 3D 数据集。为克服这一挑战，我们做出了两个贡献。首先，我们构建了 AbdomenAtlas 1.1，包含 9,262 个具有高质量、每个体素注释 25 种解剖结构以及伪注释 7 种肿瘤类型的三维计算机断层扫描 (CT) 体积。其次，我们开发了一套在 AbdomenAtlas 1.1 上预训练的模型，用于迁移学习。我们的初步分析表明，仅使用 21 个 CT 体积、672 个掩码和 40 个 GPU 小时训练的模型，其迁移学习能力相当于使用 5,050 个（无标签）CT 体积和 1,152 个 GPU 小时训练的模型。更重要的是，监督模型的迁移学习能力会随着更大标注数据集的增大而进一步提升，显著优于现有的预训练模型，无论其预训练方法或数据来源如何。我们希望本研究能够促进构建更大 3D 医学数据集的集体努力，以及更多监督预训练模型的发布。
引用
@article{arxiv.2501.11253,
title = {How Well Do Supervised 3D Models Transfer to Medical Imaging Tasks?},
author = {Wenxuan Li and Alan Yuille and Zongwei Zhou},
journal= {arXiv preprint arXiv:2501.11253},
year = {2025}
}
备注
Accepted to ICLR-2024