通过追踪梯度下降估计训练数据影响
机器学习
2020-11-17 v3 机器学习
摘要
我们引入一种称为 TracIn 的方法,用于计算训练样本对模型所作预测的影响。其思想是追踪在训练过程中,每当所用训练样本被使用时,测试点上的损失如何变化。我们通过以下方式提供 TracIn 的可扩展实现:(a) 对精确计算的一阶梯度近似,(b) 标准训练过程的保存检查点,以及 (c) 挑选深度神经网络的层。与先前提出的方法相比,TracIn 实现简单;它只需要能够处理梯度、检查点和损失函数。该方法具有通用性。它适用于任何使用随机梯度下降或其变体训练的机器学习模型,与架构、领域和任务无关。我们期望该方法在研究和改进训练数据的过程里有广泛用途。
引用
@article{arxiv.2002.08484,
title = {Estimating Training Data Influence by Tracing Gradient Descent},
author = {Garima Pruthi and Frederick Liu and Mukund Sundararajan and Satyen Kale},
journal= {arXiv preprint arXiv:2002.08484},
year = {2020}
}
备注
NeurIPS 2020