更优的海森矩阵：曲率近似在影响函数中的影响研究
机器学习
2026-02-17 v2 机器学习
摘要
影响函数提供了一种将模型预测追溯至训练数据的原则性方法，但在深度学习中的应用受到需要求逆一个大型病态海森矩阵的阻碍。诸如广义高斯-牛顿（GGN）和克罗内克分解近似曲率（K-FAC）等近似方法已被提出以使影响计算变得可行，但目前尚不清楚偏离精确性如何影响数据归因性能。关键在于，考虑到影响函数推导所依赖的受限范围，并不必然意味着更好的海森矩阵近似就能带来更好的数据归因性能。在本文中，我们在受控分类设置下研究了海森矩阵近似质量对影响函数归因的影响。我们的实验表明，更好的海森矩阵近似一致地产生更好的影响分数质量，为近期的相关研究努力提供了合理性。我们进一步分解近期海森矩阵近似方法的近似步骤，并评估每一步对归因准确度的影响。值得注意的是，K-FAC特征值与GGN/EK-FAC特征值之间的不匹配构成了大部分误差和影响损失。这些发现指出了哪些近似最为关键，为在计算可行性与归因准确度之间取得平衡的未来研究提供了指导。
引用
@article{arxiv.2509.23437,
title = {Better Hessians Matter: Studying the Impact of Curvature Approximations in Influence Functions},
author = {Steve Hong and Runa Eschenhagen and Bruno Mlodozeniec and Richard Turner},
journal= {arXiv preprint arXiv:2509.23437},
year = {2026}
}