面向命名实体识别的由粗到细预训练
计算与语言
2020-10-29 v1
摘要
近年来，命名实体识别（Named Entity Recognition, NER）借助 BERT 等预训练方法取得了巨大进展。然而，当前的预训练技术侧重于构建语言建模目标以学习通用表示，忽略了与命名实体相关的知识。为此，我们提出了一种 NER 专用的预训练框架，将自动挖掘的由粗到细的实体知识注入预训练模型中。具体而言，我们首先利用维基百科锚文本（可视为通用类型实体）通过实体跨度识别任务对模型进行预热。随后，我们采用基于地名词典的远程监督策略训练模型抽取粗粒度类型实体。最后，我们设计了一个自监督辅助任务，通过聚类挖掘细粒度命名实体知识。在三个公开 NER 数据集上的实证研究表明，我们的框架相较于多个预训练基线取得了显著提升，并在三个基准上确立了新的最先进（state-of-the-art, SOTA）性能。此外，我们展示了我们的框架在不使用人工标注训练数据的情况下也能获得有前景的结果，证明了其在少标注和低资源场景下的有效性。
引用
@article{arxiv.2010.08210,
title = {Coarse-to-Fine Pre-training for Named Entity Recognition},
author = {Mengge Xue and Bowen Yu and Zhenyu Zhang and Tingwen Liu and Yue Zhang and Bin Wang},
journal= {arXiv preprint arXiv:2010.08210},
year = {2020}
}