NLP 中实例归因方法的实证比较
计算与语言
2021-04-12 v1 机器学习
摘要
深度模型的广泛采用激发了对解释网络输出和促进模型调试方法的迫切需求。实例归因方法通过检索（可能）导致特定预测的训练实例来实现这些目标之一。影响函数（IF; Koh and Liang 2017）通过量化扰动单个训练实例对特定测试预测的影响，提供了实现此目的的机制。然而，即使近似计算 IF 在计算上也很昂贵，在许多情况下可能令人望而却步。更简单的办法（例如，检索与给定测试点最相似的训练样本）是否会表现相当？在这项工作中，我们评估了不同潜在实例归因方法在训练样本重要性上的一致程度。我们发现，简单的检索方法产生的训练实例不同于基于梯度的方法（如 IF）所识别的实例，但表现出与更复杂归因方法类似的期望特性。本文中所有方法和实验的代码可在 https://github.com/successar/instance_attributions_NLP 获取。
引用
@article{arxiv.2104.04128,
title = {An Empirical Comparison of Instance Attribution Methods for NLP},
author = {Pouya Pezeshkpour and Sarthak Jain and Byron C. Wallace and Sameer Singh},
journal= {arXiv preprint arXiv:2104.04128},
year = {2021}
}
备注
NAACL 2021