MedCLIP-SAM: 连接文本与图像面向通用医学图像分割

医学图像分割解剖结构和病理组织对于现代临床诊断、疾病研究和治疗规划至关重要。迄今为止，深度学习方法在分割技术方面取得了很大进展，但大多数方法仍缺乏数据效率、通用性和可交互性。因此，开发需要更少标记数据集的新型精确分割方法对医学图像分析尤为重要。最近，诸如 CLIP 和 Segment-Anything-Model (SAM) 等基础模型凭借其综合的跨域表示，为交互式和通用图像分割开辟了道路。然而，这些模型在数据高效医学图像分割中的探索仍有限，但极其必要。在本文中，我们提出了一种新框架，称为 MedCLIP-SAM，将 CLIP 和 SAM 模型组合，以文本提示生成临床扫描的分割结果，适用于零样例和弱监督设置。为实现这一目标，我们采用了新的解耦硬负采样噪声对比估计 (DHN-NCE) 损失来微调 BiomedCLIP 模型，并利用最近的 gScoreCAM 生成提示以获取 SAM 的分割掩码，实现零样例设置下的分割。此外，我们探索了在弱监督范式中使用零样例分割标签以进一步提高分割质量。通过在三个多样化的分割任务和医学图像模态（乳腺肿瘤超声、脑肿瘤 MRI 和肺部 X 光）上进行广泛测试，我们的框架在准确率方面表现出色。代码可在 https://github.com/HealthX-Lab/MedCLIP-SAM 查阅。