面向高剪枝率、以覆盖为中心的核集选择
机器学习
2023-03-07 v2 人工智能
摘要
一次性核集选择（one-shot coreset selection）旨在给定剪枝率的情况下，从训练数据中选出具有代表性的子集，以便后续用于训练未来模型时仍能保持较高精度。最先进的核集选择方法根据重要性度量挑选重要性最高的样本，在低剪枝率下表现良好。然而，在高剪枝率下，它们会出现灾难性的精度下降，甚至比随机采样表现更差。本文从理论和经验两方面探究了这一精度下降背后的原因。我们首先提出一种新颖的度量，通过将经典几何集合覆盖问题推广到分布覆盖问题，来度量数据集在特定分布上的覆盖度。该度量有助于解释为何高剪枝率下由 SOTA 方法选出的核集因数据覆盖更差而表现不如随机采样。我们随后提出一种新颖的一次性核集选择方法——以覆盖为中心的核集选择（Coverage-centric Coreset Selection, CCS），它联合考虑分布上的整体数据覆盖度以及每个样本的重要性。我们在五个数据集上评估了 CCS，结果表明，在高剪枝率（如 90%）下，其精度显著优于先前的 SOTA 方法（如在 CIFAR10 上至少高出 19.56%）以及随机选择（如在 CIFAR10 上高出 7.04%），在低剪枝率下精度相当。我们的代码已公开于 https://github.com/haizhongzheng/Coverage-centric-coreset-selection。
引用
@article{arxiv.2210.15809,
title = {Coverage-centric Coreset Selection for High Pruning Rates},
author = {Haizhong Zheng and Rui Liu and Fan Lai and Atul Prakash},
journal= {arXiv preprint arXiv:2210.15809},
year = {2023}
}
备注
International Conference on Learning Representations (ICLR) 2023