面向多类型肿瘤的分割基础模型

具有众多模型参数和海量训练数据的大型预训练模型在各种任务中展现出了优异的性能。许多公开可用的医学图像数据集数据量不足，因此医学影像领域鲜有大规模模型。我们提出了一种具有 16 亿参数的大规模肿瘤分割基础模型（TSFM），该模型采用 Resblock 主干和 Transformer 瓶颈结构，对下游任务具有良好的迁移能力。为了使 TSFM 在肿瘤分割中表现出良好的性能，我们充分利用医学图像中肿瘤与器官之间强的空间相关性，创新性地融合了 7 个肿瘤数据集和 3 个多器官数据集，构建了一个包含 2779 个病例共计 30 万张医学图像的 3D 医学数据集池，其规模目前超过了其他许多单一公开数据集。TSFM 是用于医学图像分割的预训练模型，也可迁移至多个下游任务进行微调学习。我们的预训练模型在各种肿瘤类型上的平均性能比 nnU-Net 高 2%。在迁移学习任务中，TSFM 仅需 nnU-Net 5% 的训练轮数即可达到相似的性能，并在 10% 的训练轮数下平均超过 nnU-Net 2%。预训练的 TSFM 及其代码将很快发布。