TinySAM：推动高效 Segment Anything 模型的极限

最近，Segment Anything Model (SAM) 展示了强大的分割能力，并在计算机视觉领域引起了广泛关注。大量后续工作基于预训练的 SAM 开发了各种应用，并在下游视觉任务上取得了令人印象深刻的性能。然而，SAM 包含庞大的架构并需要巨大的计算能力，这阻碍了 SAM 在计算受限的边缘设备上的进一步应用。为此，本文提出了一种获得微型 Segment Anything 模型（TinySAM）的框架，同时保持强大的零样本性能。我们首先提出了一种具有硬提示采样和硬掩码加权策略的全阶段知识蒸馏方法，以蒸馏轻量级学生模型。我们还使训练后量化适应基于提示的分割任务，进一步降低了计算成本。此外，提出了一种分层分割一切策略，以几乎无性能下降的情况下将 everything 推理加速 $2\times$。通过这些提出的方法，我们的 TinySAM 实现了数量级的计算量减少，并推动了高效 Segment Anything 任务的极限。在各种零样本迁移任务上的大量实验表明，我们的 TinySAM 相比对应方法具有显著的性能优势。代码可在 https://github.com/xinghaochen/TinySAM 和 https://gitee.com/mindspore/models/tree/master/research/cv/TinySAM 获取。