单提示分割所有医学图像
图像与视频处理
2024-04-18 v5 计算机视觉与模式识别
摘要
大型基础模型以其强大的零样本泛化能力在视觉和语言应用中表现出色。然而，将其应用于医学图像分割这一具有多样成像类型和目标标签的领域，仍是一个开放挑战。当前方法，如适配Segment Anything Model（SAM）等交互式分割模型，在推理时需要为每个样本提供用户提示。或者，少样本/单样本模型等迁移学习方法需要带标签样本，导致高成本。本文引入了一种面向通用医学图像分割的新范式，称为“单提示分割（One-Prompt Segmentation）”。单提示分割结合了单样本和交互式方法的优势。在推理阶段，仅需一个带提示的样本，它就能在单次前向传播中熟练处理未见过任务。我们在64个开源医学数据集上训练单提示模型，并收集了超过3000个临床医生标注的提示。在14个先前未见过的数据集上测试，单提示模型展现出优越的零样本分割能力，优于多种相关方法。代码和数据发布于 https://github.com/KidsWithTokens/one-prompt。
引用
@article{arxiv.2305.10300,
title = {One-Prompt to Segment All Medical Images},
author = {Junde Wu and Jiayuan Zhu and Yueming Jin and Min Xu},
journal= {arXiv preprint arXiv:2305.10300},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2304.12620