野生环境中的 SAM3：面向开放词汇分割的概念银行
计算机视觉与模式识别
2026-02-09 v1
摘要
最近引入的 \texttt{SAM3} 通过 \textit{可提示概念分割} revolutionized 了开放词汇分割 (OVS)，该方法将像素预测 grounded 在灵活的概念提示上。然而，这种对预定义概念的依赖使模型脆弱：当视觉分布发生漂移 (\textit{数据漂移}) 或条件标签分布演化 (\textit{概念漂移}) 时，视觉证据与提示之间的对齐就会中断。本文提出了 \textsc{ConceptBank}，一个无参数的校准框架，用于实时恢复这种对齐。我们不遵循静态提示，而是从目标统计信息中构建数据特定的概念银行。我们的做法 (\textit{i}) 通过类间视觉原型锚定目标域证据，(\textit{ii}) 挖掘代表性支持以抑制数据漂移下的异常值，(\textit{iii}) 融合候选概念以纠正概念漂移。我们展示了 \textsc{ConceptBank} 有效地适应了 \texttt{SAM3} 于分布漂移，包括挑战性的自然场景和遥感场景，为 OVS 的鲁健性和效率 establish 了新的基准。代码和模型可在 https://github.com/pgsmall/ConceptBank 获取。
引用
@article{arxiv.2602.06333,
title = {Taming SAM3 in the Wild: A Concept Bank for Open-Vocabulary Segmentation},
author = {Gensheng Pei and Xiruo Jiang and Yazhou Yao and Xiangbo Shu and Fumin Shen and Byeungwoo Jeon},
journal= {arXiv preprint arXiv:2602.06333},
year = {2026}
}