All-in-SAM:从弱标注到像素级细胞核分割的基于提示的微调方法
计算机视觉与模式识别
2023-08-30 v2 机器学习
摘要
Segment Anything Model (SAM) 是近期提出的一种基于提示的分割模型,采用通用的零样本分割方法。凭借零样本分割能力,SAM 在多种分割任务上取得了令人印象深刻的灵活性与精度。然而,当前流程在推理阶段需要人工提示,对于生物医学图像分割而言仍耗费大量资源。本文不于推理阶段使用提示,而是引入一种称为 all-in-SAM 的流程,其在整个 AI 开发工作流(从标注生成到模型微调)中利用 SAM,推理阶段无需人工提示。具体而言,首先用 SAM 从弱提示(如点、边界框)生成像素级标注;随后使用这些像素级标注微调 SAM 分割模型,而非从头训练。我们的实验揭示两个关键发现:1)所提流程在公开 Monuseg 数据集的细胞核分割任务上超越 state-of-the-art (SOTA) 方法;2)使用弱标注与少量标注微调 SAM,相较于使用强像素级标注数据取得了具竞争力的性能。
引用
@article{arxiv.2307.00290,
title = {All-in-SAM: from Weak Annotation to Pixel-wise Nuclei Segmentation with Prompt-based Finetuning},
author = {Can Cui and Ruining Deng and Quan Liu and Tianyuan Yao and Shunxing Bao and Lucas W. Remedios and Yucheng Tang and Yuankai Huo},
journal= {arXiv preprint arXiv:2307.00290},
year = {2023}
}