累积式SGD影响估计用于数据归因
机器学习
2025-10-31 v1 人工智能
摘要
现代数据导向AI需要精确的逐样本影响估计。标准SGD-IE通过对每个时代的代理求和来近似留下删除效应，忽略跨时代的叠加效应，这会导致关键样本被误排。我们提出ACC-SGD-IE，一种受轨迹影响的估计器，通过训练期间传递留下删除扰动并在每一步更新累积式影响状态。我们证明，在光滑强凸设置下实现几何误差收敛，在光滑非凸情形下紧缩误差界；更大的mini-batch进一步降低常数。实验在Adult、20 Newsgroups和MNIST上进行，分别在干净数据和损坏数据以及凸和非凸训练下进行。在清洗数据方面，ACC-SGD-IE更可靠地标记噪声样本，训练于ACC-SGD-IE清洗后的数据集所得模型在各类指标上均优于使用SGD-IE清洗的数据集。
引用
@article{arxiv.2510.26185,
title = {Accumulative SGD Influence Estimation for Data Attribution},
author = {Yunxiao Shi and Shuo Yang and Yixin Su and Rui Zhang and Min Xu},
journal= {arXiv preprint arXiv:2510.26185},
year = {2025}
}