基于 Shapley 的解释方法中注意力与非注意力的比较
计算与语言
2021-04-27 v1
摘要
可解释 AI 领域近来见证了针对高度非线性深度神经网络解释方法的爆炸式增长。这类方法——常在计算机视觉领域被提出并测试——在何种程度上适合应对 NLP 中的可解释性挑战，尚相对未被探索。在本工作中，我们考虑上下文分解（CD）——一种基于 Shapley 的输入特征归因方法，已证明对循环 NLP 模型效果良好——并测试其在包含注意力操作的模型中的有用程度。为此，我们扩展 CD 以覆盖基于注意力模型所需的操作。随后，我们考虑英语与荷兰语两种语言中若干不同句法结构，比较带注意力与不带注意力的模型如何处理长距离主谓关系。我们的实验确认 CD 也能成功应用于基于注意力的模型，为现代神经网络提供了一种替代的基于 Shapley 的归因方法。特别地，利用 CD，我们表明英语与荷兰语模型展现出相似的处理行为，但在底层我们的注意力模型与非注意力模型之间存在一致性的差异。
引用
@article{arxiv.2104.12424,
title = {Attention vs non-attention for a Shapley-based explanation method},
author = {Tom Kersten and Hugh Mee Wong and Jaap Jumelet and Dieuwke Hupkes},
journal= {arXiv preprint arXiv:2104.12424},
year = {2021}
}
备注
Accepted for publication at DeeLIO 2021