利用任务特定信息改进基于注意力的文本分类解释忠实性
计算与语言
2021-05-10 v2
摘要
自然语言处理中的神经网络架构常使用注意力机制在输入词元表示上产生概率分布。注意力在经验上已被证明可改善多种任务的性能，而其权重被广泛用作模型预测的解释。近期研究(Jain and Wallace, 2019; Serrano and Smith, 2019; Wiegreffe and Pinter, 2019)表明，跨编码器与任务它通常不能被视为忠实解释(Jacovi and Goldberg, 2020)。本文致力于改进基于注意力的文本分类解释的忠实性。我们提出一族新的任务缩放(TaSc)机制，其学习任务特定的非上下文信息以缩放原始注意力权重，从而实现该目标。针对解释忠实性的评测表明，所提三种 TaSc 变体在两种注意力机制、五种编码器与五个文本分类数据集上均改进了基于注意力的解释，且不牺牲预测性能。最后，我们证明 TaSc 相较于三种广泛使用的可解释性技术持续提供更忠实的基于注意力的解释。
引用
@article{arxiv.2105.02657,
title = {Improving the Faithfulness of Attention-based Explanations with Task-specific Information for Text Classification},
author = {George Chrysostomou and Nikolaos Aletras},
journal= {arXiv preprint arXiv:2105.02657},
year = {2021}
}
备注
NLP Interpretability ; Accepted at ACL2021