SANSA：释放 SAM2 中隐藏的语义以实现少样本分割
计算机视觉与模式识别
2025-11-18 v2
摘要
少样本分割旨在仅从少量标注样本中分割未见过的物体类别。这要求机制既能跨图像识别语义相关的物体，又能准确生成分割掩码。我们注意到，Segment Anything 2 (SAM2) 凭借其提示与传播机制，同时提供了强大的分割能力和内置的特征匹配过程。然而，我们表明其表征与为物体跟踪优化的任务特定线索相纠缠，这损害了其在需要更高层语义理解的任务中的使用。我们的关键洞察是，尽管进行了类别无关的预训练，SAM2 已在其特征中编码了丰富的语义结构。我们提出了 SANSA（语义对齐的 Segment Anything 2，Semantically AligNed Segment Anything 2），这是一个使这种潜在结构显式化的框架，并通过最小的任务特定修改将 SAM2 重新用于少样本分割。SANSA 在专门设计用于评估泛化能力的少样本分割基准上取得了 SOTA 性能，在流行的上下文设定中优于通用方法，支持通过点、框或涂鸦进行灵活交互的各种提示，并且比先前的方法显著更快、更紧凑。代码可在 https://github.com/ClaudiaCuttano/SANSA 获取。
引用
@article{arxiv.2505.21795,
title = {SANSA: Unleashing the Hidden Semantics in SAM2 for Few-Shot Segmentation},
author = {Claudia Cuttano and Gabriele Trivigno and Giuseppe Averta and Carlo Masone},
journal= {arXiv preprint arXiv:2505.21795},
year = {2025}
}
备注
Accepted to NeurIPS 2025 as Spotlight