并非完全适用:克服SAM在三维医学成像中的局限性
图像与视频处理
2025-11-26 v1 人工智能
计算机视觉与模式识别
摘要
基础分割模型如SAM和SAM-2在自然图像上表现良好,但在脑磁共振成像(MRI)中表现不佳,因为尾状核和丘脑等结构缺乏清晰的边界且对比度低。我们没有对这些模型进行微调(例如MedSAM),而是提出了一种组合式替代方案,将基础模型的输出视为额外的输入通道,与MRI一起传递以突出感兴趣区域。我们通过一个先前在MRI分割上训练的轻量级3D U-Net来生成SAM-2提示。该U-Net可能在不同的数据集上训练过,因此其猜测通常不精确但通常位于正确的区域。结果的基础模型猜测的边缘被平滑以改善与MRI的对齐。我们还在同一框架中测试了使用DINO注意力图的无提示分割。这种组合式架构避免修改基础权重,并能适应域偏移而无需重新训练基础模型。它在基底节分割上达到了约96%的体积精度,足以用于我们的纵向体积变化研究。该方法快速、标签高效且对分布外扫描具有鲁棒性。我们将其应用于研究与突发性儿童强迫症相关的炎症变化。
引用
@article{arxiv.2511.19471,
title = {Not Quite Anything: Overcoming SAMs Limitations for 3D Medical Imaging},
author = {Keith Moore},
journal= {arXiv preprint arXiv:2511.19471},
year = {2025}
}
备注
Preprint; Paper accepted at AIAS 2025