半监督自编码投影依存句法分析

我们描述了两个用于半监督基于图的投影依存句法分析的端到端自编码模型。第一个模型是局部自编码分析器（LAP），以连续潜变量按顺序编码输入；第二个模型是全局自编码分析器（GAP），将输入编码为依存树作为潜变量，并进行精确推断。两个模型均由两部分组成：由深度神经网络（DNN）增强的编码器，可利用上下文信息将输入编码为潜变量；以及作为生成模型能够重构输入的解码器。LAP和GAP均采用统一结构，对带标签和不带标签的数据使用不同的损失函数和共享参数。我们在WSJ和UD依存句法分析数据集上进行了实验，表明我们的模型可以利用无标签数据在有限带标签数据下提升性能，并优于先前提出的半监督模型。