用于语义角色标注的语言学知情自注意力
计算与语言
2018-11-13 v3
摘要
当前最先进的语义角色标注（SRL）使用深度神经网络且不显式使用语言学特征。然而，先前工作表明金标准句法树可大幅改善 SRL 解码，暗示通过显式建模句法可能提高准确率。在本工作中，我们提出语言学知情自注意力（LISA）：一种将多头自注意力与依存句法分析、词性标注、谓词检测和 SRL 上的多任务学习相结合的神经网络模型。与之前需要大量预处理以准备语言学特征的模型不同，LISA 可仅以原始词元作为输入来融入句法，仅对序列编码一次即可同时对所有谓词执行句法分析、谓词检测和角色标注。句法通过训练一个注意力头使每个词元关注其句法父节点来融入。此外，如果已有高质量句法分析结果，可在测试时有益地注入而无需重新训练我们的 SRL 模型。在 CoNLL-2005 SRL 实验中，LISA 在使用预测谓词和标准词嵌入的模型中达到了新的最先进性能，在新闻语料上比先前最先进高出 2.5 绝对 F1，在域外数据上高出超过 3.5 F1，误差降低近 10%。在 ConLL-2012 英文 SRL 上我们也展示了超过 2.5 F1 的提升。LISA 还以上下文编码（ELMo）词表示超越了最先进水平，在新闻文本上高出近 1.0 F1，在域外文本上高出超过 2.0 F1。
引用
@article{arxiv.1804.08199,
title = {Linguistically-Informed Self-Attention for Semantic Role Labeling},
author = {Emma Strubell and Patrick Verga and Daniel Andor and David Weiss and Andrew McCallum},
journal= {arXiv preprint arXiv:1804.08199},
year = {2018}
}
备注
In Conference on Empirical Methods in Natural Language Processing (EMNLP). Brussels, Belgium. October 2018