贝叶斯影响函数用于赫西森-free 数据归因
机器学习
2026-03-03 v2
摘要
经典影响函数在应用于深度神经网络时面临诸多挑战，主要原因在于赫西森矩阵不可逆以及高维参数空间。我们提出了局部贝叶斯影响函数（BIF），这是一种经典影响函数的扩展，其将赫西森矩阵求逆替换为可通过随机梯度 MCMC 采样估计的损失景观统计。该赫西森-free 方法能够捕捉参数之间higher阶相互作用，并能高效扩展至具有数十亿参数的神经网络。我们在预测再训练实验方面展示了最新的成果。
引用
@article{arxiv.2509.26544,
title = {Bayesian Influence Functions for Hessian-Free Data Attribution},
author = {Philipp Alexander Kreer and Wilson Wu and Maxwell Adam and Zach Furman and Jesse Hoogland},
journal= {arXiv preprint arXiv:2509.26544},
year = {2026}
}
备注
37 pages, 20 figures, ICLR 2026 - camera-ready version