基于预训练语言模型的无监督与少样本句法分析

预训练语言模型通常被认为能够编码句法结构[Tenney et al., 2019, Jawahar et al., 2019, Hewitt and Manning, 2019]。在本文中，我们提出UPOA，一种无监督成分句法分析模型，它仅基于预训练语言模型中学习的自注意力权重矩阵计算外部关联（Out Association）分数，作为跨度分割的句法距离。我们进一步提出增强版本UPIO，它同时利用内部关联和外部关联分数来估计一个跨度的似然性。使用UPOA和UPIO的实验表明，自注意力机制中查询（query）和键（key）的线性投影矩阵在句法分析中起着重要作用。因此我们将其扩展为少样本句法分析模型（FPOA、FPIO），使用少量标注树来学习更好的线性投影矩阵以进行句法分析。在Penn Treebank上的实验表明，我们的无监督句法分析模型UPIO在短句（长度<=10）上取得了与最先进水平（state of the art）相当的结果。我们的少样本句法分析模型FPIO仅用20棵标注树训练，便优于使用50棵标注树训练的先前少样本句法分析方法。跨语言句法分析实验表明，在无监督与少样本句法分析方法在SPMRL[Seddah et al., 2013]的大多数语言上都优于先前方法。