EdgeSAM：面向SAM的提示循环蒸馏
计算机视觉与模式识别
2025-09-09 v3
摘要
本文提出了 EdgeSAM，这是 Segment Anything Model（SAM）的加速变体，针对在边缘设备上高效执行进行了优化，同时性能损失最小。我们的方法涉及将原始的基于 ViT 的 SAM 图像编码器蒸馏为纯粹基于 CNN 的架构，使其更适合边缘设备。我们仔细地对各种蒸馏策略进行了基准测试，并证明任务无关的编码器蒸馏无法捕获 SAM 中蕴含的全部知识。为了克服这一瓶颈，我们将提示编码器和掩码解码器都纳入蒸馏过程，并在循环中加入框和点提示，以便蒸馏后的模型能够准确捕获用户输入和掩码生成之间的复杂动态。为了缓解由点提示蒸馏引起的数据集偏差问题，我们在编码器中加入了一个轻量级模块。因此，EdgeSAM 的速度比原始 SAM 提高了 37 倍，并且其性能也优于 MobileSAM/EfficientSAM，在边缘设备上部署时速度超过 7 倍，同时在 COCO 和 LVIS 上的 mIoU 分别提高了 2.3/1.5 和 3.1/1.6。它也是第一个可以在 iPhone 14 上以超过 30 FPS 运行的首个 SAM 变体。代码和演示可在 https://www.mmlab-ntu.com/project/edgesam 获取。
引用
@article{arxiv.2312.06660,
title = {EdgeSAM: Prompt-In-the-Loop Distillation for SAM},
author = {Chong Zhou and Xiangtai Li and Chen Change Loy and Bo Dai},
journal= {arXiv preprint arXiv:2312.06660},
year = {2025}
}
备注
IJCV 2025. Project page: https://www.mmlab-ntu.com/project/edgesam