基于SaLIP的测试时自适应：SAM和CLIP级联用于零样本医学图像分割
计算机视觉与模式识别
2024-05-01 v2 人工智能
摘要
Segment Anything Model (SAM) 和 CLIP 是卓越的视觉基础模型（VFM）。SAM 是一个提示驱动的分割模型，在跨领域的分割任务中表现出色，而 CLIP 以其零样本识别能力而闻名。然而，它们在医学图像分割中的联合潜力尚未被探索。为了使 SAM 适应医学成像，现有方法主要依赖于需要大量数据或针对特定任务定制的先验提示的调优策略，这在仅有有限数据样本可用时尤其具有挑战性。本文深入探索了将 SAM 和 CLIP 集成到一个统一的医学图像分割框架中。具体来说，我们提出了一个简单的统一框架 SaLIP，用于器官分割。首先，SAM 用于图像内的基于部分的分割，然后 CLIP 从 SAM 生成的掩码池中检索对应于感兴趣区域（ROI）的掩码。最后，SAM 由检索到的 ROI 提示以分割特定器官。因此，SaLIP 无需训练和微调，也不依赖于领域专业知识或用于提示工程的标注数据。我们的方法在零样本分割中显示出显著的增强，与未提示的 SAM 相比，在多种分割任务（如脑（63.46%）、肺（50.11%）和胎儿头部（30.82%））中 DICE 分数有显著提升。代码和文本提示可在 https://github.com/aleemsidra/SaLIP 获取。
引用
@article{arxiv.2404.06362,
title = {Test-Time Adaptation with SaLIP: A Cascade of SAM and CLIP for Zero shot Medical Image Segmentation},
author = {Sidra Aleem and Fangyijie Wang and Mayug Maniparambil and Eric Arazo and Julia Dietlmeier and Guenole Silvestre and Kathleen Curran and Noel E. O'Connor and Suzanne Little},
journal= {arXiv preprint arXiv:2404.06362},
year = {2024}
}