BERT 的注意力视野有多远：基于距离的聚类与分析
计算与语言
2020-11-04 v2
摘要
近期关于多头注意力机制的研究，尤其是诸如 BERT 等预训练模型中的机制，已为我们分析该机制的各个方面提供了启发与线索。由于多数研究聚焦于探测任务或隐藏状态，先前工作通过启发式分析方法发现了一些注意力头行为的原始模式，但针对注意力模式更系统的分析仍较为初步。在本工作中，我们基于一组所提出特征上的无监督聚类，将注意力热图清晰地聚类为显著不同的模式，这与以往的观测结果相印证。我们进一步通过解析研究考察其相应功能。此外，我们所提出的特征可用于解释并校准 Transformer 模型中的不同注意力头。
引用
@article{arxiv.2011.00943,
title = {How Far Does BERT Look At:Distance-based Clustering and Analysis of BERT$'$s Attention},
author = {Yue Guan and Jingwen Leng and Chao Li and Quan Chen and Minyi Guo},
journal= {arXiv preprint arXiv:2011.00943},
year = {2020}
}