训练数据影响分析与估计：综述
机器学习
2024-04-02 v3
摘要
好的模型需要好的训练数据。对于过参数化的深度模型，训练数据与模型预测之间的因果关系日益不透明且鲜为人知。影响分析通过量化每个训练样本对最终模型的改变程度，部分揭开了训练底层交互的神秘面纱。在最坏情况下，精确度量训练数据的影响可被证明是困难的；这促使了影响估计器的开发与使用，它们仅近似真实影响。本文首次提供了关于训练数据影响分析与估计的全面综述。我们首先形式化了各种（且在某些方面正交的）训练数据影响定义。然后将最先进的影响分析方法组织为一个分类体系；我们详细描述这些方法，并比较它们的底层假设、渐近复杂度和整体优缺点。最后，我们提出未来研究方向，以使影响分析在实践中有用，并在理论与经验上更可靠。有关影响分析的精选、最新资源列表可在 https://github.com/ZaydH/influence_analysis_papers 获取。
引用
@article{arxiv.2212.04612,
title = {Training Data Influence Analysis and Estimation: A Survey},
author = {Zayd Hammoudeh and Daniel Lowd},
journal= {arXiv preprint arXiv:2212.04612},
year = {2024}
}
备注
Published in Springer journal "Machine Learning"