Data-OOB：以袋外估计作为简单高效的数据价值
机器学习
2023-06-02 v3 机器学习
摘要
数据估值是一个强有力的框架，用于提供关于哪些数据有益于或有害于模型训练的统计洞察。许多基于 Shapley 的数据估值方法在各种下游任务中已显示出有前景的结果，然而，它们众所周知在计算上具有挑战性，因为需要训练大量模型。因此，将其应用于大型数据集已被认为不可行。为解决此问题，我们提出 Data-OOB，一种利用袋外估计的装袋模型的新数据估值方法。所提方法计算高效，并通过复用训练好的弱学习器可扩展到数百万数据。具体而言，当有 个样本需要评估且输入维度为 100 时，Data-OOB 在单个 CPU 处理器上耗时不到 2.25 小时。此外，Data-OOB 具有坚实的理论解释：当比较两个不同的数据点时，它识别出与无穷小刀切影响函数相同的重要数据点。我们使用 12 个分类数据集进行了全面实验，每个数据集具有数千个样本量。我们证明，所提方法在识别错误标注数据以及发现一组有益（或有害）数据点方面显著优于现有的最先进数据估值方法，凸显了在数据价值应用于现实世界应用中的潜力。
引用
@article{arxiv.2304.07718,
title = {Data-OOB: Out-of-bag Estimate as a Simple and Efficient Data Value},
author = {Yongchan Kwon and James Zou},
journal= {arXiv preprint arXiv:2304.07718},
year = {2023}
}
备注
18 pages, to be published at ICML 2023