在放射学数据上测试Segment Anything模型
图像与视频处理
2024-05-17 v2 计算机视觉与模式识别
机器学习
摘要
使用大量数据训练的深度学习模型已成为近期解决预测问题的有效方法——这些模型被称为“基础模型”，因为它们可以作为其他应用的基本工具。虽然图像分类（早期）和大语言模型（近期）的杰出例子引领了方向，但最近提出的Segment Anything Model（SAM）是第一个用于图像分割的基础模型，它在超过1000万张图像上训练，并使用了超过10亿个掩码。然而，问题仍然存在——这个基础的极限是什么？鉴于磁共振成像（MRI）是一种重要的诊断方法，我们试图了解SAM是否可以用于使用MRI数据的少量零样本分割任务。特别是，我们想知道从SAM预测的掩码池中选择掩码是否能产生良好的分割。在此，我们对SAM在磁共振成像数据上的性能进行了批判性评估。我们表明，虽然在非常有限的案例中可以接受，但总体趋势意味着这些模型不足以对整个体积进行MRI分割，但可以在少数特定切片中提供良好的分割。更重要的是，我们注意到，虽然在自然图像上训练的基础模型将成为预测建模的关键方面，但当用于其他成像模态时，它们可能被证明是无效的。
引用
@article{arxiv.2312.12880,
title = {Testing the Segment Anything Model on radiology data},
author = {José Guilherme de Almeida and Nuno M. Rodrigues and Sara Silva and Nickolas Papanikolaou},
journal= {arXiv preprint arXiv:2312.12880},
year = {2024}
}