“你会发现这些捷径吗?”一种评估文本分类中输入显著性方法忠实性的协议
计算与语言
2022-11-10 v2
摘要
特征归因亦称输入显著性方法,其为特征分配重要性分数,这类方法繁多,但对同一模型在同一输入上可能产生惊人不同的结果。若假定不同的重要性定义,差异在意料之中;但多数方法声称提供忠实归因并指出与模型预测最相关的特征。现有关于忠实性评估的工作尚无定论,未能就不同方法应如何比较给出明确答案。聚焦于文本分类与模型调试场景,我们的主要贡献是一个利用部分合成数据获取特征重要性排序真值的忠实性评估协议。遵循该协议,我们对 BERT 与 LSTM 模型在一系列数据集与捷径上的四类标准显著性方法进行了深入分析,并证明一些最流行的配置即便对最简捷径也给出糟糕结果。我们建议针对每个新任务与模型组合遵循该协议,以找出识别捷径的最佳方法。
引用
@article{arxiv.2111.07367,
title = {"Will You Find These Shortcuts?" A Protocol for Evaluating the Faithfulness of Input Salience Methods for Text Classification},
author = {Jasmijn Bastings and Sebastian Ebert and Polina Zablotskaia and Anders Sandholm and Katja Filippova},
journal= {arXiv preprint arXiv:2111.07367},
year = {2022}
}