用BERT增强隐马尔可夫模型用于多源弱监督命名实体识别
计算与语言
2021-06-01 v2
摘要
我们研究了利用来自多个弱监督源的含噪标签学习命名实体识别（NER）标注器的问题。尽管获取成本低，但弱监督源提供的标签往往不完整、不准确且相互矛盾，难以学习出准确的NER模型。为应对这一挑战，我们提出了条件隐马尔可夫模型（CHMM），它能够以无监督方式从多源含噪标签中有效推断真实标签。CHMM借助预训练语言模型的上下文表示能力增强了经典隐马尔可夫模型。具体而言，CHMM从输入词符的BERT嵌入中学习逐词符的转移和发射概率，从而从含噪观测中推断潜在真实标签。我们进一步通过交替训练方法（CHMM-ALT）精炼CHMM：它用CHMM推断出的标签微调BERT-NER模型，并将该BERT-NER的输出视为额外的弱监督源反过来用于训练CHMM。在来自不同领域的四个NER基准上的实验表明，我们的方法大幅优于最先进的弱监督NER模型。
引用
@article{arxiv.2105.12848,
title = {BERTifying the Hidden Markov Model for Multi-Source Weakly Supervised Named Entity Recognition},
author = {Yinghao Li and Pranav Shetty and Lucas Liu and Chao Zhang and Le Song},
journal= {arXiv preprint arXiv:2105.12848},
year = {2021}
}