QUACKIE：一个带有真值解释的 NLP 分类任务
计算与语言
2020-12-29 v2 机器学习
摘要
NLP 可解释性旨在增进对模型预测的信任。这使得评估可解释性方法成为一个紧迫问题。现有多个用于评估 NLP 可解释性的数据集，但它们对人类提供真值的依赖引发了关于其无偏性的疑问。本工作中，我们采取不同思路，通过改造问答数据集来构建一个特定的分类任务。对于该定制分类任务，可解释性真值直接源于分类问题的定义。我们利用此方法提出一个基准，并通过评估广泛的当前最先进（state-of-the-art）方法来为 NLP 可解释性的未来研究奠定基础。
引用
@article{arxiv.2012.13190,
title = {QUACKIE: A NLP Classification Task With Ground Truth Explanations},
author = {Yves Rychener and Xavier Renard and Djamé Seddah and Pascal Frossard and Marcin Detyniecki},
journal= {arXiv preprint arXiv:2012.13190},
year = {2020}
}