注意！通过自注意力头进行无监督成分句法分析
计算与语言
2020-10-20 v1
摘要
基于 Transformer 的预训练语言模型(PLM)在许多任务上显著改进了 NLP 的最先进水平。这导致了对分析 PLM 所学句法知识的浓厚兴趣。先前解决该问题的方法有限，大多使用测试套件或探针。在此，我们提出一种新颖的完全无监督分析方法，从 PLM 注意力头中提取成分树。我们基于 Transformer 注意力头的固有属性对其进行排序，并创建高排名头的集成以生成最终树。我们的方法适用于低资源语言，因为它不依赖开发集，而开发集的标注可能代价高昂。我们的实验表明，在没有开发集的情况下，所提方法通常优于现有方法。我们的无监督分析器也可用作分析 PLM 隐式学习语法的工具。为此，我们使用由我们的方法导出的分析树来训练神经 PCFG，并将其与源自人工标注树库的语法进行比较。
引用
@article{arxiv.2010.09517,
title = {Heads-up! Unsupervised Constituency Parsing via Self-Attention Heads},
author = {Bowen Li and Taeuk Kim and Reinald Kim Amplayo and Frank Keller},
journal= {arXiv preprint arXiv:2010.09517},
year = {2020}
}
备注
AACL-IJCNLP 2020