用于序列标注的局部上下文非线性CRF
计算与语言
2021-03-31 v1 机器学习
机器学习
摘要
线性链条件随机场（CRF）结合上下文词嵌入在序列标注任务上已取得最优性能。在这类任务中，预测给定词标签时，相邻词的身份通常是最有用的上下文信息。然而，上下文嵌入通常以任务无关的方式训练。这意味着尽管它们可能编码了相邻词的信息，但并不能保证如此。因此，设计序列标注架构以直接从嵌入中提取该信息是有益的。我们提出用于序列标注的局部上下文非线性CRF。我们的方法在预测给定词标签时直接融入相邻嵌入的信息，并使用深度神经网络参数化势函数。我们的模型可作为线性链CRF的直接替代，在消融研究中一致优于它。在多种任务上，我们的结果可与已发表最优方法相媲美。特别地，我们在CoNLL 2000的组块标注与OntoNotes 5.0 English的命名实体识别上超越了先前的最优性能。
引用
@article{arxiv.2103.16210,
title = {Locally-Contextual Nonlinear CRFs for Sequence Labeling},
author = {Harshil Shah and Tim Xiao and David Barber},
journal= {arXiv preprint arXiv:2103.16210},
year = {2021}
}