有限上下文对成分句法分析的限制

将句法融入自然语言处理中的神经方法具有众多实际与科学益处。例如，具备句法感知的语言模型可能生成更好的样本；即便是像 BERT 这样带有句法模块的判别模型，也可用于无监督句法分析等核心 NLP 任务。近年来的快速进展 arguably 由 (Shen et al., 2018a) 的 Parsing-Reading-Predict 架构的经验性成功所推动，后由 (Shen et al., 2019) 的 Order Neuron LSTM 简化。最值得注意的是，这是神经方法首次成功执行无监督句法分析（通过 F-1 分数等多种指标评估）。然而，即便是对这些架构为何及何时奏效的启发式（更不用说完全数学的）理解也严重滞后。本工作中，我们回答了 (Shen et al., 2018a, 2019) 架构以及一些基于转移的句法感知语言模型（Dyer et al., 2016）所提出的表征问题：当前神经句法方法能表征何种句法结构？具体地，我们将该问题置于概率上下文无关文法（PCFGs）的沙盒中，并识别出这些方法表征能力的一个关键方面：预测器在被强制做出分析决策时可获取的上下文数量与方向性。我们表明，在有限上下文（有界或单向）下，存在某些 PCFG，这些方法无法表征其最大似然分析；反之，若上下文不受限，它们可表征任意 PCFG 的最大似然分析。