基于可逆神经投影的句法结构无监督学习
计算与语言
2018-08-29 v1 机器学习
摘要
句法结构的无监督学习通常使用具有离散潜变量和多项参数的生成模型来进行。在大多数情况下，这些模型尚未利用连续的词表示。在这项工作中，我们提出了一种新颖的生成模型，通过将一个可逆神经网络与一个结构化生成先验级联，以无监督的方式联合学习离散句法结构和连续词表示。我们表明，只要先验表现良好，可逆性条件就允许在我们的模型中进行高效的精确推断和边际似然计算。在实验中，我们用马尔可夫先验和树结构先验分别实例化我们的方法，并在两项任务上进行评估：词性（POS）归纳，以及无黄金词性标注的无监督依存句法分析。在宾州树库（Penn Treebank）上，我们的马尔可夫结构模型在词性归纳上超越了最先进的结果。类似地，我们发现我们的树结构模型在困难训练条件下（既无黄金词性标注也无基于标点的约束可用）的无监督依存句法分析上达到了最先进的性能。
引用
@article{arxiv.1808.09111,
title = {Unsupervised Learning of Syntactic Structure with Invertible Neural Projections},
author = {Junxian He and Graham Neubig and Taylor Berg-Kirkpatrick},
journal= {arXiv preprint arXiv:1808.09111},
year = {2018}
}
备注
EMNLP 2018