ProtoSAM：基于基础模型的单次医学图像分割
计算机视觉与模式识别
2024-07-19 v2 人工智能
摘要
本工作提出了新的框架ProtoSAM，用于单次医学图像分割。它将原型网络（以few-shot segmentation闻名）与SAM——一种自然图像基础模型相结合。该方法使用ALPnet原型网络创建初始粗糙分割掩码，辅以DINOv2编码器。随后提取初始掩码后的提示，如点和边界框，这些提示随后输入到Segment Anything Model（SAM）。在多个医学图像数据集上展示了最先进的结果，证明了使用单个图像示例（一次）即可实现自动分割，无需对基础模型进行微调。我们的代码可在https://github.com/levayz/ProtoSAM获取。
引用
@article{arxiv.2407.07042,
title = {ProtoSAM: One-Shot Medical Image Segmentation With Foundational Models},
author = {Lev Ayzenberg and Raja Giryes and Hayit Greenspan},
journal= {arXiv preprint arXiv:2407.07042},
year = {2024}
}
备注
12 pages, 3 figures, 4 tables, code: https://github.com/levayz/ProtoSAM