在类别发现中没有一种表示能统治一切

本文处理广义类别发现问题（GCD）。具体而言，给定含已标注与未标注图像的数据集，任务是对未标注子集中的所有图像聚类，无论其是否属于已标注类别。我们的首要贡献是认识到大多数现有 GCD 基准仅包含数据的单一聚类标签，难以确定模型是利用可用标签解决 GCD 任务，还是仅解决无监督聚类问题。为此，我们提出一个名为“Clevr-4”的合成数据集用于类别发现。Clevr-4 包含数据的四种同样有效的划分，即基于物体形状、纹理、颜色或数量。为解决该任务，模型需外推已标注集指定的分类法，而非简单依附于数据的某一自然分组。我们利用该数据集展示了无监督聚类在 GCD 设定下的局限，表明即便很强的无监督模型也在 Clevr-4 上失败。我们进一步用 Clevr-4 检视现有 GCD 算法的弱点，并提出解决这些缺陷的新方法，借用了表示学习文献中的一致性发现。我们基于“均值教师（mean teachers）”且称为 $\mu$GCD 的简单方案在 Clevr-4 上大幅优于已实现的基线。最后，当我们将这些发现迁移至具有挑战性的语义偏移基准（SSB）真实数据时，$\mu$GCD 优于所有先前工作，确立了新的最先进水平。项目网页见 https://www.robots.ox.ac.uk/~vgg/data/clevr4/。