从BERT表征中诱导句法树
计算与语言
2019-06-28 v1
摘要
我们使用BERT的英语模型，探究句子中删除一个词如何改变其他词的表示。我们的假设是，移除一个可缩减词（如形容词）对其他词表示的影响，远小于移除主要动词等使句子不合语法并对语言模型构成“高意外度”的词。我们估计单个词以及更长连续短语（词n-gram）的可缩减性，研究其与句法相关的性质，进而利用它们诱导出完整的依存树。
引用
@article{arxiv.1906.11511,
title = {Inducing Syntactic Trees from BERT Representations},
author = {Rudolf Rosa and David Mareček},
journal= {arXiv preprint arXiv:1906.11511},
year = {2019}
}
备注
Accepted abstract for the BlackboxNLP 2019