有监督句法分析有益于语言理解吗？一项实证研究

传统自然语言处理（NLP）长期以来认为（有监督的）句法分析是成功实现高层语义语言理解（LU）所必需的。然而，近期通过语言建模（LM）自监督的端到端神经模型的出现，以及它们在广泛 LU 任务上的成功，对这一信念提出了质疑。在这项工作中，我们在 LM 预训练 transformer 网络的背景下，实证研究了有监督句法分析对语义 LU 的效用。基于已确立的微调范式，我们首先将一个预训练 transformer 与一个双仿射（biaffine）分析头相耦合，旨在将来自 Universal Dependencies 树库 explicit 句法知识注入 transformer。然后我们为 LU 任务微调模型，并衡量中间句法分析训练（IPT）对下游 LU 任务性能的影响。来自单语英语和零样本语言迁移实验（含中间目标语言句法分析）的结果表明，通过 IPT 注入 transformer 的形式化显式句法对下游 LU 性能的影响非常有限且不一致。我们的结果，连同我们对 transformer 在中间句法分析前后表征空间的分析，为回答一个根本性问题迈出了重要一步：在大型神经模型时代，有监督句法分析对高层语义自然语言理解究竟有多大（无）助益？