通过更好的逆Hessian-向量积实现更优的训练数据归因
机器学习
2025-07-22 v1 机器学习
摘要
训练数据归因（TDA）提供有关哪些训练数据负责所学习模型行为的见解。梯度基 TDA 方法，如影响函数和展开差分，都涉及一种类似逆Hessian-向量积（iHVP）的计算，这种计算difficult to approximate efficiently。我们引入一种算法（ASTRA），其使用EKFAC preconditioner on Neumann series iterations to arrive at an accurate iHVP approximation for TDA。ASTRA容易调节，所需迭代次数少于Neumann series iterations，并且比EKFAC-based approximations更准确。使用ASTRA，我们表明提高iHVP approximation的准确性可显著提高TDA性能。
引用
@article{arxiv.2507.14740,
title = {Better Training Data Attribution via Better Inverse Hessian-Vector Products},
author = {Andrew Wang and Elisa Nguyen and Runshi Yang and Juhan Bae and Sheila A. McIlraith and Roger Grosse},
journal= {arXiv preprint arXiv:2507.14740},
year = {2025}
}
备注
28 pages, 4 figures