Lite-SAM：分割一切真正所需的高效方案
计算机视觉与模式识别
2024-07-15 v1 机器学习
摘要
本文介绍了Lite-SAM，一种面向SegEvery任务的高效端到端解决方案，旨在降低计算成本和冗余。Lite-SAM由四个主要组件构成：一个精简的CNN-Transformer混合编码器（LiteViT）、一个自动提示提议网络（AutoPPN）、一个传统提示编码器和一个掩码解码器。所有这些组件都集成在SAM框架内。我们的LiteViT是一种高性能轻量级骨干网络，仅有1.16M参数，比现有最轻的骨干网络Shufflenet减少了23%。我们还引入了AutoPPN，这是一种用于提示框和点生成的创新端到端方法。这是对传统网格搜索采样方法的改进，其独特设计使其易于集成到任何SAM系列算法中，扩展了其可用性。我们在大量公共和私有数据集上对Lite-SAM进行了全面基准测试。评估涵盖了广泛的通用指标，包括参数量、SegEvery执行时间和准确率。结果表明，Lite-SAM仅以4.2M的参数量运行，显著超越其同类模型，与SAM、MobileSAM、Edge-SAM、EfficientViT-SAM和MobileSAM-v2相比，性能分别提升了43倍、31倍、20倍、21倍和1.6倍，同时保持了具有竞争力的准确率。这凸显了Lite-SAM在性能与精度之间实现最佳平衡的能力，从而在该领域树立了新的最先进（SOTA）基准。
引用
@article{arxiv.2407.08965,
title = {Lite-SAM Is Actually What You Need for Segment Everything},
author = {Jianhai Fu and Yuanjie Yu and Ningchuan Li and Yi Zhang and Qichao Chen and Jianping Xiong and Jun Yin and Zhiyu Xiang},
journal= {arXiv preprint arXiv:2407.08965},
year = {2024}
}
备注
ECCV 2024 Accepted