BOND：基于BERT辅助与远程监督的开放域命名实体识别
计算与语言
2020-06-30 v1 人工智能
机器学习
摘要
我们研究远程监督下的开放域命名实体识别（NER）问题。远程监督虽不需要大量人工标注，但通过外部知识库产生的远程标签高度不完整且含噪声。为应对此挑战，我们提出一种新的计算框架——BOND，其利用预训练语言模型（如 BERT 和 RoBERTa）的能力来提升 NER 模型的预测性能。具体而言，我们提出一种两阶段训练算法：第一阶段，我们使用远程标签将预训练语言模型适配到 NER 任务，可显著提升召回率与精确率；第二阶段，我们丢弃远程标签，并提出一种自训练方法以进一步提升模型性能。在 5 个基准数据集上的充分实验证明了 BOND 相对于现有远程监督 NER 方法的优越性。代码与远程标注数据已发布于 https://github.com/cliang1453/BOND。
引用
@article{arxiv.2006.15509,
title = {BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision},
author = {Chen Liang and Yue Yu and Haoming Jiang and Siawpeng Er and Ruijia Wang and Tuo Zhao and Chao Zhang},
journal= {arXiv preprint arXiv:2006.15509},
year = {2020}
}
备注
Proceedings of the 26th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '20)