SlimSAM：0.1% 数据使 Segment Anything 变得轻量
计算机视觉与模式识别
2024-09-27 v4
摘要
当前用于压缩 Segment Anything Model（SAM）的方法取得了值得称赞的结果，但需要大量数据来从头训练一个新网络。采用传统的剪枝技术可以显著减少数据需求，但会遭受性能下降的问题。为了解决这一具有挑战性的权衡，我们引入了 SlimSAM，一种新颖的数据高效 SAM 压缩方法，它以极少的训练数据实现了卓越的性能。SlimSAM 的本质体现在交替瘦身框架中，该框架在严重受限的训练数据可用性和极高的剪枝率下，有效增强了知识继承。与先前的技术不同，我们的框架通过交替剪枝和蒸馏不同的、解耦的子结构来逐步压缩模型。还提出了扰动泰勒剪枝来解决剪枝目标和训练目标之间的错位问题，从而提升剪枝后的再蒸馏效果。SlimSAM 在取得显著性能提升的同时，所需的训练数据比任何其他现有压缩方法少 10 倍以上。即使与原始 SAM 相比，SlimSAM 也实现了接近的性能，同时将参数量减少到仅 1.4%（9.1M），MACs 减少到 0.8%（23G），并且仅需 SAM 训练数据的 0.1%（10k）。代码可在 http://github.com/czg1225/SlimSAM 获取。
引用
@article{arxiv.2312.05284,
title = {SlimSAM: 0.1% Data Makes Segment Anything Slim},
author = {Zigeng Chen and Gongfan Fang and Xinyin Ma and Xinchao Wang},
journal= {arXiv preprint arXiv:2312.05284},
year = {2024}
}
备注
Accepted by NeurIPS 2024