FastIF:面向高效模型解释与调试的可扩展影响函数
机器学习
2021-09-13 v2 人工智能
计算与语言
摘要
影响函数近似训练数据点对于测试预测的“影响”,具有广泛的应用。尽管流行,其计算代价随模型和训练数据规模增大而难以扩展。我们提出 FastIF,一组对影响函数的简单修改,显著改善其运行时间。我们使用 k-Nearest Neighbors (kNN) 将搜索空间缩小到一部分优良候选数据点,确定在估计逆 Hessian-向量积时最好平衡速度-质量权衡的配置,并引入一种快速并行变体。我们提出的方法实现约 80 倍加速,同时与原始影响值高度相关。借助快速影响函数的可用性,我们展示其在四个应用中的用处。首先,我们利用可模拟性框架检验有影响力的数据点能否“解释”测试时行为。其次,我们可视化训练与测试数据点之间的影响交互。第三,我们展示通过对某些有影响力的数据点额外微调可纠正模型错误,在 HANS 数据集上将训练好的 MultiNLI 模型准确率提升 2.5%。最后,我们尝试类似设置但在未训练见过的数据点上微调,在 HANS 和 ANLI 数据集上分别将模型准确率提升 2.8% 和 1.7%。总体而言,我们的快速影响函数可高效应用于大型模型与数据集,且实验展示了影响函数在模型解释与纠正模型错误方面的潜力。代码见 https://github.com/salesforce/fast-influence-functions
引用
@article{arxiv.2012.15781,
title = {FastIF: Scalable Influence Functions for Efficient Model Interpretation and Debugging},
author = {Han Guo and Nazneen Fatema Rajani and Peter Hase and Mohit Bansal and Caiming Xiong},
journal= {arXiv preprint arXiv:2012.15781},
year = {2021}
}
备注
18 pages