有效注意力揭示可解释性
计算与语言
2021-05-20 v1
摘要
Transformer 自注意力子层的注意力矩阵可证明地分解为两个分量，且仅有其中之一（有效注意力）对模型输出有贡献。这引出一个问题：可视化有效注意力是否会得出与标准注意力解释不同的结论。利用 GLUE 任务的子集与 BERT，我们进行了比较两种注意力矩阵的分析，表明它们的解释存在差异。有效注意力与语言建模预训练相关特征（如分隔符 token）的关联更弱，且更有潜力阐明模型为解决末端任务所捕捉的语言学特征。鉴于所发现的差异，我们推荐使用有效注意力来研究 Transformer 的行为，因其按设计更贴合模型输出。
引用
@article{arxiv.2105.08855,
title = {Effective Attention Sheds Light On Interpretability},
author = {Kaiser Sun and Ana Marasović},
journal= {arXiv preprint arXiv:2105.08855},
year = {2021}
}
备注
Accepted to Findings of ACL 2021