基于 BiLSTM 的依赖解析器中结构特征的无用性（与非无用性）
计算与语言
2019-06-05 v2
摘要
经典的非神经依赖解析器在特征函数的设计上投入了大量精力。特别是，它们受益于来自结构特征的信息，例如从依赖树中相邻词符抽取的特征。相比之下，其基于 BiLSTM 的后继者在无需关于结构上下文的显式信息的情况下便达到了最优性能。在本文中，我们旨在回答以下问题：BiLSTM 表示能够隐式捕获多少结构上下文？我们表明，当使用 BiLSTM 时，从部分子树抽取的特征变得冗余。我们深入分析了基于转移和基于图的神经架构中的信息流，以展示当解析器做出决策时隐式信息的来源。最后，通过模型消融实验，我们证明了结构上下文不仅存在于模型中，而且显著影响其性能。
引用
@article{arxiv.1905.12676,
title = {The (Non-)Utility of Structural Features in BiLSTM-based Dependency Parsers},
author = {Agnieszka Falenska and Jonas Kuhn},
journal= {arXiv preprint arXiv:1905.12676},
year = {2019}
}