广义组数据归因
机器学习
2024-10-22 v2 人工智能
机器学习
摘要
数据归因（DA）方法量化单个训练数据点对模型输出的影响，并在诸多应用中具有广泛作用，如解释性、数据选择和噪声标签识别。然而，现有的DA方法往往计算昂贵，限制了其在大规模机器学习模型中的适用性。为解决这一挑战，我们引入了广义组数据归因（GGDA）框架，通过对训练数据的组而非单个数据点进行归因来计算上简化DA。GGDA是一个通用的框架，所包含的归因方法可被现有方法所包含，并且可以应用于新出现的DA技术。它允许用户根据需要优化效率与保真度之间的权衡。我们的实证结果表明，GGDA应用于如影响函数、TracIn和TRAK等流行DA方法，可实现最高可达10倍至50倍的加速，同时优雅地权衡归因保真度。对于数据剪枝和噪声标签识别等下游应用，我们证明GGDA显著提高了计算效率，同时保持有效性，使大规模机器学习场景中先前不可行的应用变得可行。
引用
@article{arxiv.2410.09940,
title = {Generalized Group Data Attribution},
author = {Dan Ley and Suraj Srinivas and Shichang Zhang and Gili Rusak and Himabindu Lakkaraju},
journal= {arXiv preprint arXiv:2410.09940},
year = {2024}
}