用于评估 NLP 模型概念合理性的顺序敏感 Shapley 值
计算与语言
2022-06-02 v1 人工智能
摘要
先前的研究表明，深度 NLP 模型并非总是概念合理的：它们并不总学到正确的语言概念。具体而言，它们可能对词序不敏感。为了系统地评估模型在词序方面的概念合理性，我们提出了一种针对序列数据的新解释方法：顺序敏感 Shapley 值（Order-sensitive Shapley Values, OSV）。我们进行了广泛的实证评估以验证该方法，并揭示各类深度 NLP 模型学习词序的程度。利用合成数据，我们首先表明 OSV 在解释模型行为方面比基于梯度的方法更具忠实性。其次，应用于 HANS 数据集时，我们发现基于 BERT 的 NLI 模型仅使用词的出现而不使用词序。尽管简单的数据增强提高了在 HANS 上的准确率，OSV 显示增强后的模型并未从根本上改善模型对顺序的学习。第三，我们发现并非所有情感分析模型都正确地学习了否定：有些未能捕捉否定结构的正确句法。最后，我们表明诸如 BERT 之类的预训练语言模型可能依赖主语词的绝对值位置来学习长距离主谓一致。针对每个 NLP 任务，我们还展示了如何利用 OSV 生成对抗样本。
引用
@article{arxiv.2206.00192,
title = {Order-sensitive Shapley Values for Evaluating Conceptual Soundness of NLP Models},
author = {Kaiji Lu and Anupam Datta},
journal= {arXiv preprint arXiv:2206.00192},
year = {2022}
}