FS-SAM2：通过低秩适应适配 Segment Anything Model 2 以实现少样本语义分割
计算机视觉与模式识别
2025-09-16 v1
摘要
少样本语义分割近期引起了广泛关注。其目标是开发一种仅需少量标注样本即可分割未见类别的模型。现有大多数方法通过从头训练附加模块来适配预训练模型。这些方法要实现最佳性能，需要在大规模数据集上进行广泛训练。Segment Anything Model 2 (SAM2) 是一个用于零样本图像和视频分割的基础模型，具有模块化设计。在本文中，我们提出了一种基于 SAM2 的少样本分割方法（FS-SAM2），其中 SAM2 的视频能力被直接改造用于少样本任务。此外，我们对原始模块应用了低秩适应，以处理标准数据集中常见的多样化图像，这与 SAM2 预训练中使用的时序连接帧不同。通过这种方法，仅需元训练少量参数，即可在受益于 SAM2 出色分割性能的同时对其进行有效适配。我们的方法支持任意 K-shot 配置。我们在 PASCAL-5、COCO-20 和 FSS-1000 数据集上评估了 FS-SAM2，取得了显著的结果并展现出优异的推理计算效率。代码可在 https://github.com/fornib/FS-SAM2 获取。
引用
@article{arxiv.2509.12105,
title = {FS-SAM2: Adapting Segment Anything Model 2 for Few-Shot Semantic Segmentation via Low-Rank Adaptation},
author = {Bernardo Forni and Gabriele Lombardi and Federico Pozzi and Mirco Planamente},
journal= {arXiv preprint arXiv:2509.12105},
year = {2025}
}
备注
Accepted at ICIAP 2025