现有端到端实体链接系统的公平深入评估
计算与语言
2023-11-20 v2
摘要
现有对实体链接系统的评估往往很少说明该系统在特定应用中的表现。这有两个根本原因。一是许多评估仅使用聚合度量（如精确率、召回率和F1分数），而没有详细的错误分析或更仔细地审视结果。二是所有广泛使用的基准都存在强烈的偏置与伪影，具体而言：强烈聚焦于命名实体、对何种其他内容算作实体提及缺乏明确或缺失的规范、对歧义处理不佳，以及对某些类型实体的过度或不足表示。我们提供了对多种现有端到端实体链接系统更具意义且公平的深入评估。我们刻画了它们的优势与弱点，并报告了可复现性方面的情形。我们评估的详细结果可在 https://elevant.cs.uni-freiburg.de/emnlp2023 查看。我们的评估基于数个广泛使用的基准（其在不同程度上表现出上述问题）以及两个解决了上述问题的新基准。新基准可在 https://github.com/ad-freiburg/fair-entity-linking-benchmarks 获取。
引用
@article{arxiv.2305.14937,
title = {A Fair and In-Depth Evaluation of Existing End-to-End Entity Linking Systems},
author = {Hannah Bast and Matthias Hertel and Natalie Prange},
journal= {arXiv preprint arXiv:2305.14937},
year = {2023}
}