用于解释BERT中信息流的影响模式
计算与语言
2021-12-02 v3
摘要
尽管“注意力即你所需要”或许正被证明为真，我们却不知其所以然：基于注意力的Transformer模型(如BERT)表现优越，但信息如何从输入词元流向输出预测尚不清楚。我们引入影响模式(influence patterns)，即穿越Transformer模型的路径集合的抽象。模式将信息流量化并定位至通过一系列模型节点的路径。实验上，我们发现BERT中显著部分的信息流经由跳跃连接而非注意力头。我们进一步表明，模式跨样本的一致性可作为BERT性能的指示量。最后，我们证明相比既往基于注意力与基于层的方法，模式解释了远更多的模型性能。
引用
@article{arxiv.2011.00740,
title = {Influence Patterns for Explaining Information Flow in BERT},
author = {Kaiji Lu and Zifan Wang and Piotr Mardziel and Anupam Datta},
journal= {arXiv preprint arXiv:2011.00740},
year = {2021}
}
备注
Neurips 2021