快速分割一切

近期提出的 segment anything model（SAM，分割一切模型）在许多计算机视觉任务中产生了重大影响。它正成为许多高层任务（如图像分割、图像描述与图像编辑）的基础步骤。然而，其巨大的计算成本阻碍了它在工业场景中的更广泛应用。该计算主要源于高分辨率输入下的 Transformer 架构。本文中，我们针对这一基础任务提出一种具有可比性能的加速替代方法。通过将任务重新表述为片段生成与提示，我们发现带有实例分割分支的常规 CNN 检测器也能很好地完成此任务。具体而言，我们将该任务转换为研究充分的实例分割任务，并仅使用 SAM 作者发布的 SA-1B 数据集的 1/50 直接训练现有实例分割方法。利用我们的方法，我们以 50 倍更高的运行速度实现了与 SAM 方法可比的性能。我们给出充分的实验结果以证明其有效性。代码与演示将发布于 https://github.com/CASIA-IVA-Lab/FastSAM。