面向 In-Context Learning 分割的视觉提示选择

作为计算机视觉中一个基本且广泛研究的任务，图像分割旨在在像素级别定位和识别不同的语义概念。最近，受 In-Context Learning (ICL) 的启发，提出了几种通用分割框架，为对特定对象的分割提供了有前景的范式。然而，现有工作大多忽视了视觉提示的价值，或仅仅应用相似度排序来选择上下文示例。本文聚焦于重新思考和改进示例选择策略。通过广泛比较，我们首先表明，基于 ICL 的分割模型对不同的上下文敏感。进一步的实证证据表明，上下文提示的多样性在引导分割方面起到了关键作用。基于上述见解，我们提出了一种新的分步上下文搜索方法。与以往工作不同，我们构建一个小而丰富的候选池，并自适应地搜索匹配的上下文。更重要的是，该方法通过紧凑化搜索空间来有效降低标注成本。广泛的实验表明，我们的方法是选择示例和提升分割性能的有效策略。