SOHES：自监督开放世界层级实体分割

开放世界实体分割作为一种新兴的计算机视觉任务，旨在不受预定义类别的限制下分割图像中的实体，在未见过的图像和概念上展现出出色的泛化能力。尽管前景广阔，但现有的实体分割方法（如 Segment Anything Model (SAM)）严重依赖昂贵的专家标注器。本工作提出了自监督开放世界层级实体分割，一种消除了对人类标注需求的新方法。SOHES 分三个阶段运行：自探索、自指导和自纠正。给定预训练的自监督表示，我们通过视觉特征聚类生成大量高质量的伪标签。然后，我们在伪标签上训练分割模型，并通过师生互学习过程纠正伪标签中的噪声。除了分割实体之外，SOHES 还能捕获其组成部分，提供对视觉实体的层级理解。仅使用原始图像作为训练数据，我们的方法在自监督开放世界分割中取得了前所未有的性能，标志着在缺乏人工标注掩码的情况下向高质量开放世界实体分割迈出了重要里程碑。项目页面：https://SOHES-ICLR.github.io。