RevSAM2：基于逆向传播无需微调的医学图像分割提示SAM2
计算机视觉与模式识别
2024-11-26 v2
摘要
Segment Anything Model 2（SAM2）最近在自然图像和视频上展现出在零样本提示分割方面的卓越性能。然而，当SAM2的传播机制应用于医学图像时，常会导致空间不一致，进而导致非常相似的图像在分割结果上差异巨大。本文引入RevSAM2，一个简单而有效的自我纠错框架，使SAM2在无需微调的情况下能够在未见的3D医学图像分割任务中取得优异性能。具体而言，用于分割3D查询体积时，我们仅使用少量定义新分割任务的support图像-标签对，提出逆向传播策略作为查询信息选择机制。与仅维持FIFO队列顺序预测查询切片不同，逆向传播利用support图像评估每个预测查询切片掩码的质量，从而筛选出高质量的查询信息。这些被选取的高质量掩码 then 用作提示，在整个查询体积上进行传播，从而增强对未见任务的泛化能力。值得注意的是，我们首次探索了在无需微调的情况下应用SAM2进行标签高效医学图像分割的潜力。与在大型标注数据集上进行微调相比，标签高效的场景为医学分割任务提供了一种成本效益高的替代方案，尤其适用于罕见疾病或处理未见类别的情况。在四个公开数据集上的实验表明，RevSAM2在标签有限的场景下优于现有SOTA方法，Dice分数提升12.18%。代码将予以发布。
引用
@article{arxiv.2409.04298,
title = {RevSAM2: Prompt SAM2 for Medical Image Segmentation via Reverse-Propagation without Fine-tuning},
author = {Yunhao Bai and Boxiang Yun and Zeli Chen and Qinji Yu and Yingda Xia and Yan Wang},
journal= {arXiv preprint arXiv:2409.04298},
year = {2024}
}