GCDT：一种用于序列标注的全局上下文增强深度转移架构
计算与语言
2019-06-07 v1
摘要
当前序列标注的最优系统通常基于循环神经网络(RNNs)系列。然而，RNNs中连续隐藏状态间的浅层连接以及对全局信息建模不足限制了这些模型的潜在性能。本文中，我们试图解决这些问题，从而提出一种用于序列标注的全局上下文增强深度转移架构，命名为GCDT。我们加深了句子中每个位置的状态转移路径，并进一步为每一个词元分配从整个句子学习到的全局表示。在两个标准序列标注任务上的实验表明，仅给定训练数据和通用词嵌入(Glove)，我们的GCDT在CoNLL03命名实体识别(NER)任务上取得91.96 F1，在CoNLL2000分块(Chunking)任务上取得95.43 F1，优于相同设置下已有最佳报道结果。此外，通过利用BERT作为额外资源，我们在NER上以93.47 F1、在分块上以97.30 F1建立了新的最优(state-of-the-art)结果。
引用
@article{arxiv.1906.02437,
title = {GCDT: A Global Context Enhanced Deep Transition Architecture for Sequence Labeling},
author = {Yijin Liu and Fandong Meng and Jinchao Zhang and Jinan Xu and Yufeng Chen and Jie Zhou},
journal= {arXiv preprint arXiv:1906.02437},
year = {2019}
}
备注
Accepted as a long paper at ACL 2019. Code is available at: https://github.com/Adaxry/GCDT