注意力不仅是权重：基于向量范数分析 Transformer
计算与语言
2020-10-07 v2
摘要
注意力是 Transformer 的关键组件，后者近期在自然语言处理中取得了显著成功。因此，人们广泛研究注意力以探究 Transformer 的各种语言能力，重点分析注意力权重与特定语言现象之间的对应关系。本文表明，仅凭注意力权重只是决定注意力输出的两个因素之一，并提出了一种基于范数的分析，该分析纳入了第二个因素，即变换后输入向量的范数。我们对 BERT 和基于 Transformer 的神经机器翻译系统进行的基于范数分析的结果包括：（i）与先前研究相反，BERT 对特殊 token 的注意力较弱；（ii）可从 Transformer 的注意力机制中提取出合理的词对齐。这些发现为 Transformer 的内部工作机制提供了见解。
引用
@article{arxiv.2004.10102,
title = {Attention is Not Only a Weight: Analyzing Transformers with Vector Norms},
author = {Goro Kobayashi and Tatsuki Kuribayashi and Sho Yokoi and Kentaro Inui},
journal= {arXiv preprint arXiv:2004.10102},
year = {2020}
}
备注
19 pages, accepted by EMNLP 2020