具有噪声鲁棒学习与语言模型增强自训练的远程监督命名实体识别
计算与语言
2021-09-13 v1 机器学习
摘要
我们研究仅使用远程标注数据训练命名实体识别(NER)模型的问题,这类数据可通过将原始文本中的实体提及与知识库中的实体类型进行匹配而自动获得。远程监督 NER 的最大挑战在于远程监督可能引入不完整且含噪的标签,使得直接应用监督学习失效。本文中,我们提出(1)一种由新损失函数和噪声标签移除步骤组成的噪声鲁棒学习方案,用于在远程标注数据上训练 NER 模型;以及(2)一种自训练方法,利用预训练语言模型生成的上下文增强来提升 NER 模型的泛化能力。在三个基准数据集上,我们的方法取得了优越性能,以显著优势超越现有的远程监督 NER 模型。
引用
@article{arxiv.2109.05003,
title = {Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training},
author = {Yu Meng and Yunyi Zhang and Jiaxin Huang and Xuan Wang and Yu Zhang and Heng Ji and Jiawei Han},
journal= {arXiv preprint arXiv:2109.05003},
year = {2021}
}
备注
EMNLP 2021. (Code: https://github.com/yumeng5/RoSTER)