一种用于模糊感知的概率分割模型：面向医学图像分割的 Segment Anything Model

最近的面向提示的分割技术，如 Segment Anything Model (SAM)，已实现跨广泛视觉领域的灵活、高质量掩码生成。然而，SAM 及类似模型仍然是确定性的，仅为每个对象每个提示产生单个分割，无法捕捉许多真实任务中固有的模糊性。在医学成像中，由于标注不确定性或专家间的变异性，可能存在多个合理的分割，这一限制尤为棘手。在本文中，我们引入了 Probabilistic SAM，这是 SAM 的一个概率扩展，建模输入图像和提示条件下的分割分布。通过纳入潜在变量空间并使用变分目标进行训练，我们的模型学习生成反映人类标注变异性的多样且合理的分割掩码。该架构将先验网络和后验网络集成到 SAM 框架中，允许潜在代码在推理期间调制提示嵌入。潜在空间允许在推理期间高效采样，实现最小开销的不确定感知输出。我们在公开的 LIDC-IDRI 肺结节数据集上对 Probabilistic SAM 进行评估，展示了其能够产生与专家 disagreement 一致的多样化输出，在不确定感知指标上 outperform 现有概率基线。我们的代码可在 https://github.com/tbwa233/Probabilistic-SAM/ 上获取。