检索式NLP中实体消歧与流行度作用的评估
计算与语言
2021-06-15 v1 机器学习
摘要
检索是开放域NLP任务的核心组件。在开放域任务中，多个实体可共享一名，使消歧成为固有却未被充分探索的问题。我们提出一种用于评估此类检索器实体消歧能力的基准，称为歧义实体检索（AmbER）集。我们将AmbER集定义为共享一名的实体集合及关于这些实体的查询。通过覆盖多义名称的实体集合，AmbER集构成对实体消歧的具有挑战性的测试。我们针对三个流行开放域任务——事实核查、槽填充与问答——创建AmbER集，并评估一组多样化检索器。我们发现检索器表现出流行度偏差，在共享名称的较罕见实体上表现显著不佳，例如，在同一名称下对较不流行实体的查询，其检索错误文档的可能性是两倍。这些在AmbER集上的实验显示了其作为评估工具的效用，并凸显了流行检索系统的弱点。
引用
@article{arxiv.2106.06830,
title = {Evaluating Entity Disambiguation and the Role of Popularity in Retrieval-Based NLP},
author = {Anthony Chen and Pallavi Gudipati and Shayne Longpre and Xiao Ling and Sameer Singh},
journal= {arXiv preprint arXiv:2106.06830},
year = {2021}
}