用于少样本医学图像分割的自提示大型视觉模型
计算机视觉与模式识别
2023-08-16 v1
摘要
大型基础模型近期的进展因其灵活的提示能力而在医疗行业展现出可观潜力。其中一个模型——Segment Anything Model（SAM），一种提示驱动的分割模型，已展现出显著的性能提升，在医学图像分割中超越最先进的方法。然而，现有方法主要依赖需要调整大量数据或针对特定任务定制先验提示的调优策略，这在仅有少量数据样本可用时尤为困难。本文中，我们提出医学视觉应用中自提示的新视角。具体而言，我们利用SAM的嵌入空间通过一个简单而有效的线性逐像素分类器来提示其自身。通过保留大型模型的编码能力、其解码器的上下文信息，并发挥其交互式提示能力，我们在多个数据集上取得了具有竞争力的结果（即相较于使用少量图像微调掩码解码器提升超过15%）。
引用
@article{arxiv.2308.07624,
title = {Self-Prompting Large Vision Models for Few-Shot Medical Image Segmentation},
author = {Qi Wu and Yuyao Zhang and Marawan Elbatel},
journal= {arXiv preprint arXiv:2308.07624},
year = {2023}
}
备注
8.5 pages + 2 pages of supplementary materials + 2 pages of references, 3 figures, submitted to 5th MICCAI Workshop on Domain Adaptation and Representation Transfer (DART)