SeqScore：消除命名实体识别可复现评估的障碍
计算与语言
2021-11-08 v3
摘要
为应对命名实体识别（NER）评估中迫近的不可复现危机，我们提出了若干准则并引入了软件包 SeqScore 以改善可复现性。我们提出的准则极为简单，其核心在于对 chunk 的编码与打分方式保持透明。我们表明，尽管 NER 评估看似简单，但打分过程中未报告的差异可能导致分数发生具有可观量级且统计显著的变化。我们描述了 SeqScore，它解决了导致复现失败的诸多问题。
引用
@article{arxiv.2107.14154,
title = {SeqScore: Addressing Barriers to Reproducible Named Entity Recognition Evaluation},
author = {Chester Palen-Michel and Nolan Holley and Constantine Lignos},
journal= {arXiv preprint arXiv:2107.14154},
year = {2021}
}
备注
To appear in proceedings of Eval4NLP 2021 (EMNLP 2021 workshop)