CLISC：通过增强 CAM 桥接 clip 与 sam 以实现无监督脑肿瘤分割
计算机视觉与模式识别
2025-01-28 v1
摘要
脑肿瘤分割对于肿瘤诊断至关重要，当前的深度学习方法依赖于大量标注图像进行训练，标注成本高昂。无监督分割有望在不依赖人工标注的情况下实现分割，但性能往往受限。本研究提出了一种新颖的无监督分割方法，利用基础模型的能力，其主要步骤包括：(1) 采用视觉-语言模型 (即 CLIP) 获取图像级别的伪标签，用于训练分类网络。随后采用类激活图 (CAM) 提取感兴趣区域 (ROI)，并使用自适应掩码数据增强来增强 ROI 的识别。(2) 使用 ROI 生成边界框和点提示，用于 Segment Anything Model (SAM) 获取分割伪标签。(3) 使用 SAM 生成的伪标签训练 3D 分割网络，在基于 SAM 输出与网络预测之间相似性的自学习过程中过滤低质量的伪标签。在 BraTS2020 数据集上进行评估显示，我们的方法获得了 85.60% 的平均 Dice 相似度得分 (DSC)，超过五种最先进的无监督分割方法超过 10 个百分点。此外，我们的方法在直接使用 SAM 进行零样本推断时表现更好，其性能接近完全监督学习。
引用
@article{arxiv.2501.16246,
title = {CLISC: Bridging clip and sam by enhanced cam for unsupervised brain tumor segmentation},
author = {Xiaochuan Ma and Jia Fu and Wenjun Liao and Shichuan Zhang and Guotai Wang},
journal= {arXiv preprint arXiv:2501.16246},
year = {2025}
}
备注
22st IEEE International Symposium on Biomedical Imaging (ISBI 2025)