基于超几何概率模型去噪远程监督命名实体识别
计算与语言
2021-06-18 v1
摘要
去噪是基于远程监督的命名实体识别的关键步骤。以往的去噪方法大多基于实例级置信度统计，忽略了不同数据集和实体类型下底层噪声分布的多样性。这使得它们难以适应高噪声率的场景。本文提出超几何学习（Hypergeometric Learning, HGL），一种用于远程监督命名实体识别的去噪算法，它同时考虑噪声分布与实例级置信度。具体而言，在神经网络训练过程中，我们依据以噪声率为参数的超几何分布对每个批次中的噪声样本进行自然建模。然后根据该采样批次中的噪声分布以及由前一步训练得到的标签置信度，将批次中每个实例判定为正确样本或噪声样本。实验表明，HGL能够有效去除远程监督获取的弱标注数据中的噪声，从而显著提升训练所得模型的效果。
引用
@article{arxiv.2106.09234,
title = {Denoising Distantly Supervised Named Entity Recognition via a Hypergeometric Probabilistic Model},
author = {Wenkai Zhang and Hongyu Lin and Xianpei Han and Le Sun and Huidan Liu and Zhicheng Wei and Nicholas Jing Yuan},
journal= {arXiv preprint arXiv:2106.09234},
year = {2021}
}
备注
Accepted to AAAI2021