通过弱少样本监督学习提示自动化 MedSAM
计算机视觉与模式识别
2024-10-01 v1
摘要
基础模型，如最近提出的 Segment Anything Model (SAM)，在图像分割任务中取得了显著的成果。然而，这些模型通常需要通过手工设计的提示（如边界框）进行用户交互，这限制了其在下游任务中的部署。仅凭完全标注数据适配特定任务也需要昂贵的 prior 用户交互以获取 ground-truth 标注。本文提出用一个轻量级模块直接从图像嵌入中学习提示嵌入，两者随后被用于基础模型以输出分割掩码。我们的方法通过 1) 通过简单模块预测的提示嵌入修改输入，以及 2) 使用弱标签（紧密边界框）和 few-shot 监督（10 个样本），使具备可学习提示的基础模型能够自动对特定区域进行分割。本方法在 MedSAM——针对医学图像微调的 SAM 版本上进行验证，并在三个医学数据集（MRI 和超声成像）上取得实验结果。我们的代码已公开于 https://github.com/Minimel/MedSAMWeakFewShotPromptAutomation。
引用
@article{arxiv.2409.20293,
title = {Automating MedSAM by Learning Prompts with Weak Few-Shot Supervision},
author = {Mélanie Gaillochet and Christian Desrosiers and Hervé Lombaert},
journal= {arXiv preprint arXiv:2409.20293},
year = {2024}
}
备注
Accepted to MICCAI-MedAGI 2024 (LNCS Proceedings, Volume 15184), 10 pages