ERASER：一个用于评估可解释化 NLP 模型的基准
计算与语言
2020-04-27 v2 人工智能
机器学习
摘要
NLP 领域最先进的模型现在主要基于深度神经网络，这些网络在如何做出预测方面是不透明的。这一局限增加了人们对设计更具可解释性的 NLP 深度模型的兴趣，这类模型能揭示模型输出背后的“推理”。但该方向的研究是在不同数据集和任务上进行的，且各自具有独特的目标和度量；这使得追踪进展变得困难。我们提出了 Evaluating Rationales And Simple English Reasoning (ERASER) 基准以推进 NLP 中可解释模型的研究。该基准包含多个数据集和任务，并为此收集了人类标注的“理由”（支持性证据）。我们提出了若干度量，旨在刻画模型提供的理由与人类理由的吻合程度，以及这些理由的忠实性（即所提供的理由影响相应预测的程度）。我们希望发布该基准能促进设计更具可解释性的 NLP 系统的进展。基准、代码和文档可在 https://www.eraserbenchmark.com/ 获取。
引用
@article{arxiv.1911.03429,
title = {ERASER: A Benchmark to Evaluate Rationalized NLP Models},
author = {Jay DeYoung and Sarthak Jain and Nazneen Fatema Rajani and Eric Lehman and Caiming Xiong and Richard Socher and Byron C. Wallace},
journal= {arXiv preprint arXiv:1911.03429},
year = {2020}
}
备注
Accepted as a long paper to ACL2020 Website and leaderboard available at http://www.eraserbenchmark.com/ Code available at https://github.com/jayded/eraserbenchmark