迈向基于三维全身 CT 扫描的全面、高效且可提示的解剖结构分割模型
计算机视觉与模式识别
2024-12-19 v2
摘要
分割一切模型（SAM）在自然图像分割上展现出强大的泛化能力。然而，其在医学图像分割任务中的直接适配表现出显著的性能下降，并且需要过多的提示点才能获得合理的精度。尽管已有不少研究探索将 SAM 适配到医学图像体积中，但二维适配方法的效率不尽人意，而三维适配方法仅能分割特定器官/肿瘤。在这项工作中，我们提出了一个用于全身 CT 分割的全面且可扩展的三维 SAM 模型，名为 CT-SAM3D。我们没有适配 SAM，而是利用一个（近乎）完全标注的 CT 数据集，提出了一个三维可提示分割模型。为有效训练 CT-SAM3D，确保模型对高维空间提示的准确响应至关重要，且由于 GPU 内存限制，需要进行三维分块训练。因此，我们提出了两项关键技术进展：1）一种渐进式空间对齐的提示编码方法，以在局部三维空间中有效编码点击提示；2）一种跨分块提示方案，以捕获更多三维空间上下文，这有利于在交互式提示大型器官时减少编辑工作量。CT-SAM3D 使用一个包含 107 种全身解剖结构的 1204 例 CT 扫描精选数据集进行训练，并在五个数据集上进行了广泛验证，取得了显著优于所有先前 SAM 衍生模型的结果。代码、数据以及我们具有准实时响应的三维交互式分割工具可在 https://github.com/alibaba-damo-academy/ct-sam3d 获取。
引用
@article{arxiv.2403.15063,
title = {Towards a Comprehensive, Efficient and Promptable Anatomic Structure Segmentation Model using 3D Whole-body CT Scans},
author = {Heng Guo and Jianfeng Zhang and Jiaxing Huang and Tony C. W. Mok and Dazhou Guo and Ke Yan and Le Lu and Dakai Jin and Minfeng Xu},
journal= {arXiv preprint arXiv:2403.15063},
year = {2024}
}
备注
Accepted by AAAI 2025