面向全身分析的基于不确定性的肿瘤分割视觉基础模型
图像与视频处理
2025-11-14 v1 定量方法
摘要
提示驱动的视觉基础模型，如 Segment Anything Model（SAM），最近在计算机视觉中展示出惊人的适应性。然而，其直接应用于医学影像仍具有挑战，由于组织结构的异质性、成像伪影以及低对比度边界，尤其是肿瘤和癌症原发病变，导致在模糊或重叠的病灶区域实现次优的分割效果。为此，我们提出了 Segment Any Tumour 3D（SAT3D），一个轻量级体积基础模型，旨在实现跨多种医学成像模态的稳健且通用的肿瘤分割。SAT3D 集成了移位窗口视觉转换器，用于层次化体积表示，并引入基于不确定性的训练管线，显式地将不确定性估计作为提示，以引导低对比度区域的可靠边界预测。对抗学习进一步提升了模型在模糊病理区域的性能。我们将 SAT3D 与三个最新的视觉基础模型和 nnUNet 进行基准测试，涵盖 11 个公开数据集，其中包括 3,884 个肿瘤和癌症病例用于训练，694 个病例用于分布内评估。该模型在 17,075 个 3D 体积-掩码对上进行训练，涵盖多种成像模态和癌症原发病变，显示出强大的泛化能力和鲁棒性。为便于实际应用和临床转化，我们开发了一个 3D Slicer 插件，使可交互式地使用训练好的 SAT3D 模型进行分割和可视化。广泛的实验结果凸显了其在具有挑战性和分布外场景下的分割准确性提升，彰显了其作为可扩展医学图像分析基础模型的潜力。
引用
@article{arxiv.2511.09592,
title = {Segment Any Tumour: An Uncertainty-Aware Vision Foundation Model for Whole-Body Analysis},
author = {Himashi Peiris and Sizhe Wang and Gary Egan and Mehrtash Harandi and Meng Law and Zhaolin Chen},
journal= {arXiv preprint arXiv:2511.09592},
year = {2025}
}