重温、扩展与增强无 Hessian 影响函数
机器学习
2026-03-27 v4 机器学习
摘要
影响函数是评估模型解释中样本影响、子集训练集选择、噪声标签检测等方面的重要工具。通过采用一阶泰勒展开，影响函数可以在无需昂贵的模型重训练的情况下估计样本影响。然而，将影响函数直接应用于深度模型存在挑战，这主要是由于损失函数的非凸性质和模型参数的大规模。这一困难不仅使得计算 Hessian 矩阵的逆代价高昂，而且在某些情况下使其不存在。人们已经探索了包括矩阵分解在内的各种方法，以加速和近似 Hessian 矩阵的求逆，旨在使影响函数适用于深度模型。在本文中，我们重温了一种特定、虽显朴素但有效的近似方法，称为 TracIn。该方法用单位矩阵替代 Hessian 矩阵的逆。我们深入探讨了这种简单近似方法为何表现良好。此外，我们将其应用扩展到衡量模型效用之外，包括对公平性和鲁棒性的考量。最后，我们通过集成策略增强了 TracIn。为了验证其有效性，我们在合成数据上进行了实验，并在噪声标签检测、大语言模型微调的样本选择以及防御对抗攻击方面进行了广泛评估。
引用
@article{arxiv.2405.17490,
title = {Revisit, Extend, and Enhance Hessian-Free Influence Functions},
author = {Ziao Yang and Han Yue and Jian Chen and Hongfu Liu},
journal= {arXiv preprint arXiv:2405.17490},
year = {2026}
}