影响力函数的规模化计算
机器学习
2021-12-07 v1 计算与语言
计算机视觉与模式识别
摘要
我们致力于高效计算影响力函数，以将预测追溯至训练数据。我们提出并分析了一种基于 Arnoldi 迭代加速逆 Hessian 计算的新方法。据我们所知，借助该改进，我们实现了首个可扩展至具有数亿参数的全尺寸（语言和视觉）Transformer 模型的影响力函数的成功实现。我们在具有数千万至一亿训练样本的图像分类和序列到序列任务上评估了我们的方法。我们的代码将在 https://github.com/google-research/jax-influence 提供。
引用
@article{arxiv.2112.03052,
title = {Scaling Up Influence Functions},
author = {Andrea Schioppa and Polina Zablotskaia and David Vilar and Artem Sokolov},
journal= {arXiv preprint arXiv:2112.03052},
year = {2021}
}
备注
Published at AAAI-22