关注形态与上下文以生成专用的集外词表示
机器学习
2019-12-17 v1 机器学习
摘要
我们提出了一种新的上下文-组合神经网络层，用于处理自然语言处理（NLP）标注任务中的集外词（OOV）。该层由一个同时关注字符序列和OOV词出现上下文的模型组成。我们表明，与以往方法不同，我们的模型无需在嵌入表上预训练即可学习生成任务特定且句子相关的OOV词表示。我们将该层插入\citet{plank2016multilingual}的最先进标注模型中，并在联合标注词性与形态句法属性的任务上对其在23种不同语言上的贡献进行了充分评估。我们的OOV处理方法成功提升了该模型在除一种语言外所有语言上的性能，从而在Universal Dependencies Dataset 1.4上达到了新的最先进水平（SOTA）。
引用
@article{arxiv.1912.06876,
title = {Attending Form and Context to Generate Specialized Out-of-VocabularyWords Representations},
author = {Nicolas Garneau and Jean-Samuel Leboeuf and Yuval Pinter and Luc Lamontagne},
journal= {arXiv preprint arXiv:1912.06876},
year = {2019}
}