单次训练中的数据Shapley
机器学习
2025-06-10 v3 计算与语言
机器学习
摘要
数据 Shapley 提供了一种原则性的框架，用于在机器学习上下文中归因数据贡献。然而，现有方法需要在不同的子集上重新训练模型，这在计算上非常昂贵，使其无法应用于大规模模型。此外，它们为任何由学习算法运行产生的模型 produced the same attribution score，这意味着它们无法对来自单个算法运行得到的特定模型进行针对性归因。本文引入 In-Run Data Shapley，以解决这些限制，为感兴趣的目标模型提供可扩展的数据归因。在其最有效的实现中，我们的技术仅比标准模型训练略增加极少的运行时间。这一显著的效率提高使得首次有可能对基础模型预训练阶段进行数据归因。我们 presented several case studies that offer fresh insights into pretraining data's contribution and discuss their implications for copyright in generative AI and pretraining data curation.
关键词
引用
@article{arxiv.2406.11011,
title = {Data Shapley in One Training Run},
author = {Jiachen T. Wang and Prateek Mittal and Dawn Song and Ruoxi Jia},
journal= {arXiv preprint arXiv:2406.11011},
year = {2025}
}
备注
ICLR 2025 Outstanding Paper Runner-Up