更快的 Segment Anything：面向移动应用的轻量化 SAM

Segment Anything Model（SAM）因其出色的零样本迁移性能以及对众多视觉应用（如细粒度控制的图像编辑）的高适应性而备受关注。许多此类应用需要在资源受限的边缘设备（如手机）上运行。本文中，我们的目标是通过将重量级图像编码器替换为轻量级编码器，使 SAM 对移动端友好。如原始 SAM 论文中那样训练此类新 SAM 的朴素方法会导致性能不尽如人意，尤其在可用训练资源有限时。我们发现这主要由图像编码器与掩码解码器的耦合优化所致，受此启发我们提出了解耦蒸馏。具体而言，我们将知识从重量级图像编码器（原始 SAM 中的 ViT-H）蒸馏到轻量级图像编码器，使其能自动兼容原始 SAM 中的掩码解码器。训练可在单块 GPU 上一天内完成，所得轻量 SAM 称为 MobileSAM，其体积缩小 60 倍以上而性能与原始 SAM 相当。在推理速度上，单 GPU 下 MobileSAM 每张图像约运行 10ms：图像编码器 8ms，掩码解码器 4ms。凭借优越性能，我们的 MobileSAM 比同期的 FastSAM 快约 5 倍、小约 7 倍，更适于移动应用。此外，我们展示了 MobileSAM 能在 CPU 上相对流畅运行。项目代码见 \href{https://github.com/ChaoningZhang/MobileSAM}{\textcolor{red}{MobileSAM}}，其中演示表明 MobileSAM 可在 CPU 上相对流畅运行。