基于迭代子空间抽样的零样本核心集选择

深度学习越来越依赖大规模数据，带来巨大的存储、标注和训练成本。为降低成本，核心集选择寻找代表性数据子集，以在准确性上与完整数据训练相当。为了最大化性能，当前的状态方法使用数据特定的 ground truth 标签和训练进行核心集选择。然而，这些方法的要求限制了在大规模无标签数据上的应用。为此，本文 addresses 在不使用任何标签或在候选数据上训练的情况下选择核心集，以实现与先进标签方法相当的性能。我们的解决方案是基于迭代子空间抽样的零样本核心集选择（ZCore），它利用先前训练的基础模型生成零样本的高维嵌入空间，以解释无标签数据。ZCore 随后基于诸多子空间分布中的覆盖度和冗余度，迭代量化所有候选数据的相对价值。最后，ZCore 按任意数据预算选择核心集，以训练下游模型。我们在四个数据集上评估 ZCore，优于多个先进标签方法，尤其在低数据率下表现更佳——这些数据率提供了最大限度的成本降低。在 ImageNet 上，ZCore 对 10% 训练数据的选择，在下游验证准确率达 53.99%，优于先前标签方法，消除了对 115 万张图像的标注和训练成本。本论文的代码已公开于 https://github.com/voxel51/zcore。