为锐度感知最小化归因数据

锐度感知最小化（SAM）通过关联损失景观几何与泛化能力，提高了大规模模型训练中的泛化性能。然而，误标签噪声数据和隐私问题等挑战日益突出。数据归因技术识别特定训练样本的贡献，为解决这些问题提供了有前景的途径。然而，直接将现有数据影响评估工具如影响函数（IF）应用于 SAM 将不可行或不准确，因为 SAM 使用内层循环寻找最大化损失的模型扰动，随后由外层循环最小化，从而导致计算结构的双重化。此外，这种双层结构 complicates 对数据对参数的影响建模。在本文中，我们基于 IF，发展了两种创新的 SAM 数据定价方法，分别在不同场景中提供独特的优势：一种是基于 Hessian 的 IF，另一种是基于梯度轨迹的 IF。前者仅依赖于已训练模型的权重，提供了对数据影响的全面估计；后者则利用训练期间的梯度轨迹信息，实现更精确、更高效的数据评估。广泛实验表明，两种方法在数据评估和参数调优方面均有效，可用于识别误标签数据、模型编辑以及提升可解释性。