重新思考过参数化 regime 下神经网络的影响函数

理解神经网络黑盒预测具有挑战性。为此，早期研究设计了影响函数（IF）以度量移除单个训练点对神经网络的影响。然而，用于计算 IF 的经典隐式 Hessian-向量积（IHVP）方法脆弱，且神经网络背景下 IF 的理论分析仍然缺乏。为此，我们利用神经正切核（NTK）理论计算以正则化均方损失训练的神经网络之 IF，并证明当两层 ReLU 网络宽度足够大时近似误差可任意小。我们分析了过参数化 regime 下经典 IHVP 方法的误差界，以理解其何时及为何失效或不失效。具体而言，我们的理论分析揭示：（1）IHVP 的精度依赖于正则化项，在弱正则化下相当低；（2）IHVP 的精度与相应训练点的概率密度显著相关。我们进一步借 NTK 理论更好地理解 IF，包括量化有影响样本的复杂度以及刻画训练动态中 IF 的变化。在真实数据上的数值实验证实了我们的理论结果并展示了我们的发现。