验证NER数据标注中的标签一致性
计算与语言
2021-09-24 v2 人工智能
摘要
数据标注在确保您的命名实体识别（NER）项目以正确信息训练学习方面起着关键作用。由于标注涉及的复杂性，产生最准确的标签是一项挑战。多个数据标注子集（例如训练集与测试集，或多个训练子集）之间的标签不一致是标签错误的指示。本工作中，我们提出一种经验方法来探究标签（不）一致性与NER模型性能之间的关系。它可用于验证多组NER数据标注中的标签一致性（或捕捉不一致性）。在实验中，我们的方法识别了SCIERC和CoNLL03数据集中测试数据的标签不一致（分别有26.7%和5.4%的标签错误）。它验证了两个数据集修正版本中的一致性。
引用
@article{arxiv.2101.08698,
title = {Validating Label Consistency in NER Data Annotation},
author = {Qingkai Zeng and Mengxia Yu and Wenhao Yu and Tianwen Jiang and Meng Jiang},
journal= {arXiv preprint arXiv:2101.08698},
year = {2021}
}