视频分割到 3D MRI 的新适配：基于 SAM2 的高效零样本膝关节分割
计算机视觉与模式识别
2024-08-12 v1
摘要
智能医学图像分割方法正在快速发展并得到越来越广泛的应用，但它们面临域迁移的挑战，即算法性能因源域和目标域之间不同的数据分布而退化。为了解决这一问题，我们提出了一种通过适配 Segment Anything Model 2（SAM2）实现 3D 膝关节 MRI 零样本单提示分割的方法。SAM2 是一种通用分割模型，旨在接受提示并在视频帧之间保留记忆。通过将 3D 医学体数据的切片视为单独的视频帧，我们利用 SAM2 的先进能力生成运动和空间感知的预测。我们证明了 SAM2 可以在零样本方式下高效执行分割任务，无需额外的训练或微调，仅使用单个提示即可准确描绘膝关节 MRI 扫描中的结构。我们在骨关节炎倡议苏黎世研究所柏林数据集（OAI-ZIB）上的实验表明，SAM2 在 3D 膝关节骨分割上达到了高精度，在胫骨上的测试 Dice 相似系数为 0.9643。我们还展示了使用不同 SAM2 模型大小、不同提示方案生成的结果，以及在同一数据集上部署的 SAM1 模型的对比结果。这一突破有望通过提供可扩展、经济高效的自动化分割解决方案来革新医学图像分析，为更广泛的临床应用和简化的工作流程铺平道路。
引用
@article{arxiv.2408.04762,
title = {Novel adaptation of video segmentation to 3D MRI: efficient zero-shot knee segmentation with SAM2},
author = {Andrew Seohwan Yu and Mohsen Hariri and Xuecen Zhang and Mingrui Yang and Vipin Chaudhary and Xiaojuan Li},
journal= {arXiv preprint arXiv:2408.04762},
year = {2024}
}