重新审视基于区域的表示

我们研究了基于区域的表示对识别是否有效。区域曾是识别方法中的中流砥柱，但如今几乎排他性地使用像素与基于块的特征。我们展示了像 SAM 这样最新的类不可知分割器可以与像 DINOv2 这样强大的无监督表示有效结合，并用于多种任务，包括语义分割、基于对象的图像检索以及多图像分析。一旦提取了掩码与特征，这些表示即使使用线性解码器也能实现具有竞争力的性能，使其非常适合需要自定义查询的应用。该表示的紧凑性也使其非常适合视频分析及其他需要在多张图像间进行推理的问题。