从 Balustrades 到 Pierre Vinken：在 Transformer 自注意力中寻找句法
计算与语言
2019-06-06 v1 机器学习
摘要
我们检查了 Transformer 神经机器翻译编码器中针对三种源语言的多头自注意力，寻找可能具有句法解释的模式。在许多注意力头中，我们频繁发现连续状态序列关注同一位置，类似于句法短语。我们提出了一种透明的确定性方法，基于从类短语序列自动构建并评价短语结构树，来量化自注意力中存在的句法信息量。我们将所得树与已有的成分句法树库进行比较，包括人工比较以及通过计算精确率与召回率进行比较。
引用
@article{arxiv.1906.01958,
title = {From Balustrades to Pierre Vinken: Looking for Syntax in Transformer Self-Attentions},
author = {David Mareček and Rudolf Rosa},
journal= {arXiv preprint arXiv:1906.01958},
year = {2019}
}
备注
Accepted at BlackboxNLP 2019