句法帮助ELMo理解语义：在用于语义角色标注的深度神经架构中句法是否仍相关？
计算与语言
2018-11-13 v1
摘要
用于学习丰富上下文词表示的无监督方法，是否消除了在语义角色标注（SRL）神经网络模型中显式建模语言结构的需求？我们通过将极为成功的ELMo嵌入（Peters等人，2018）整合进LISA（Strubell等人，2018）——一个用于SRL的强语言信息神经网络架构——来探讨此问题。在CoNLL-2005共享任务的实验中，我们发现尽管ELMo优于典型词嵌入，开始缩小LISA在使用预测句法分析与金标准句法分析之间的F1差距，但当两者都使用ELMo时，句法信息模型仍优于无句法模型，尤其在域外数据上。我们的结果表明，在NLP深度学习黄金时代，语言结构确实仍然相关。
引用
@article{arxiv.1811.04773,
title = {Syntax Helps ELMo Understand Semantics: Is Syntax Still Relevant in a Deep Neural Architecture for SRL?},
author = {Emma Strubell and Andrew McCallum},
journal= {arXiv preprint arXiv:1811.04773},
year = {2018}
}
备注
In Proceedings of the Workshop on the Relevance of Linguistic Structure in Neural Architectures for NLP, ACL 2018