论对 BERT 解释的解释：一项基于序列分类的实证研究
计算与语言
2021-01-05 v1
摘要
BERT 作为预训练语言模型之一，近年来因通过微调在 GLUE 各项任务上创下新的基准而备受关注。一个紧迫的问题是打开黑箱并解释 BERT 的决策过程。已有许多归因技术被提出用于解释 BERT 模型，但常局限于序列到序列任务。在本文中，我们将现有归因方法适配到解释 BERT 在序列分类任务中的决策过程。我们通过将四种现有归因方法应用于情感分析中的四个不同数据集，对其进行了广泛分析。我们通过多种消融研究比较了各方法的可靠性和鲁棒性。此外，我们检验了归因方法是否能在语义相似任务间解释泛化的语义。我们的工作为使用归因方法解释 BERT 在下游分类任务中的决策提供了可靠指导。
引用
@article{arxiv.2101.00196,
title = {On Explaining Your Explanations of BERT: An Empirical Study with Sequence Classification},
author = {Zhengxuan Wu and Desmond C. Ong},
journal= {arXiv preprint arXiv:2101.00196},
year = {2021}
}