通过无监督迁移摆脱标签依赖

基础视觉-语言模型使得预训练表示能够显著地零样本迁移到广泛的下游任务。然而，为了解决新任务，零样本迁移仍然需要人类指导来定义数据中出现的视觉类别。在这里，我们展示了当在不同基础模型的表示空间中搜索能诱导最大间隔分类器的数据集标注时，完全无监督的迁移就会发生。我们提出了TURTLE，一种完全无监督的方法，它有效地利用这一指导原则来揭示下游数据集的潜在标注，无需任何监督和特定任务的表示学习。我们在包含26个数据集的多样化基准套件上评估了TURTLE，并表明它实现了新的最先进的无监督性能。此外，尽管TURTLE是完全无监督的，它在广泛的数据集上优于零样本迁移基线。特别是，通过使用跨越多种架构和模型大小的相同表示空间，TURTLE在26个数据集上匹配了CLIP零样本的平均性能。通过使用两个基础模型的表示空间来指导对潜在标注的搜索，TURTLE超越了零样本迁移和无监督提示调优基线，展示了无监督迁移令人惊讶的力量和有效性。