追求人类标注：一种无监督学习的新视角

我们提出HUME，一个简单且模型无关的框架，用于在没有任何外部监督的情况下推断给定数据集的人类标注。我们方法背后的关键洞见是，由许多人类标注所定义的类别无论使用何种表示空间来表示数据集都是线性可分的。HUME利用这一洞见来指导对数据集所有可能标注的搜索，以发现潜在的人类标注。我们表明所提出的优化目标与数据集的 ground truth 标注具有惊人的强相关性。实际上，我们仅在固定的预训练表示之上训练线性分类器，训练期间表示保持不变，这使我们的框架与任何大型预训练与自监督模型兼容。尽管简单，HUME在STL-10数据集上以大幅优势优于基于自监督表示之上的有监督线性分类器，并在CIFAR-10数据集上取得可比性能。与现有无监督基线相比，HUME在包括大规模ImageNet-1000数据集在内的四个基准图像分类数据集上取得了最先进性能。总之，我们的工作提供了一种根本性的新视角，通过在不同表示空间间搜索一致标注来解决无监督学习问题。