ReCo：用于零样本迁移的检索与协同分割

语义分割具有广泛的应用，但其实际影响一直受到部署所需高昂标注成本的严重限制。无需监督的分割方法可以规避这些成本，但存在不便之处，即需要提供来自目标分布的带标签样本，才能将概念名称赋予预测结果。另一方面，语言-图像预训练的相关研究最近展示了生成此类模型的潜力，这些模型既能对大量概念词汇进行命名，又能实现分类的零样本迁移，但在分割能力上并未展现出同等的水平。在本工作中，我们力求实现这两种方法的融合，兼顾二者优势。我们利用此类语言-图像预训练模型之一 CLIP 的检索能力，针对任意概念名称集合从未标注图像中动态策划训练集，并利用现代图像表示所提供的鲁棒对应关系，在所得集合中协同分割实体。随后，这些合成分割集合被用于构建分割模型（无需像素标签），其对概念的知识继承自 CLIP 可扩展的预训练过程。我们证明，我们提出的方法——称为检索与协同分割（ReCo）——在性能上优于无监督分割方法，同时继承了可命名预测与零样本迁移的便利性。我们还展示了 ReCo 为极罕见对象生成专用分割器的能力。