实体的不同认知：命名实体标注中人类标注差异的研究

命名实体识别 (NER) 是一项具有悠久传统的关键信息抽取任务。尽管近期研究通过重新标注工作来解决并旨在纠正标注错误，但人们对人类标注差异的来源（如文本歧义、标注错误或指南分歧）知之甚少。对于高质量数据集以及超越英文 CoNLL03 的情况尤其如此。本文研究了英语、丹麦语和巴伐利亚语三种语言的专家标注命名实体数据集中的分歧。我们表明，文本歧义和人为指南更改是高质量修订中产生多样化标注的主导因素。我们对困难实体子集上的学生标注进行了调查，并从分布视角论证了多重标注对于理解命名实体歧义的可行性与必要性。