Semantic-Fast-SAM：高效语义分割器

我们提出 Semantic-Fast-SAM (SFS)，一个将 Fast Segment Anything 模型与语义标注流水线相结合的语义分割框架，旨在实现实时性能而不牺牲精度。FastSAM 是 Segment Anything Model (SAM) 的一种基于 CNN 的高效重实现，其运行速度远快于原始基于 Transformer 的 SAM。在 FastSAM 快速掩码生成的基础上，我们集成了 Semantic-Segment-Anything (SSA) 标注策略，为每个掩码赋予有意义的类别。由此产生的 SFS 模型能以远低于原始基于 SAM 方法的计算成本和内存占用量，生成高质量的语义分割图。在 Cityscapes 和 ADE20K 基准上的实验表明，SFS 在精度上与先前的基于 SAM 的方法相当（Cityscapes 上 mIoU 约 70.33，ADE20K 上约 48.01），同时在闭集设置下推理速度比 SSA 快约 20 倍。我们还展示了 SFS 通过利用基于 CLIP 的语义头，有效处理开放词汇分割，在广泛类别标注上优于近期的开放词汇模型。这项工作使具备“分割一切”能力的实用实时语义分割成为可能，拓宽了基础分割模型在机器人场景中的适用性。代码实现见 https://github.com/KBH00/Semantic-Fast-SAM。