使用先验探针评估实体消歧的鲁棒性：以实体遮蔽效应为例
计算与语言
2022-10-13 v2
摘要
实体消歧（ED）是实体链接（EL）的最后一步，在此步骤中，候选实体根据其出现的上下文进行重排序。所有用于训练和评估 EL 模型的数据集均由便利样本组成，例如新闻文章和推文，这些样本将实体分布的先前概率偏差传播至更频繁出现的实体。先前已有研究表明，EL 系统在此类数据集上的性能被高估了，因为仅通过学习先验就有可能获得更高的准确率分数。为了提供一个更充分的评估基准，我们引入了 ShadowLink 数据集，该数据集包含 16K 条标注了实体提及的短文本片段。我们在 ShadowLink 基准上评估并报告了流行 EL 系统的性能。结果显示，对于所有被评估的 EL 系统，较常见实体与较不常见实体之间的准确率存在显著差异，这证明了先前概率偏差和实体遮蔽效应的影响。
引用
@article{arxiv.2108.10949,
title = {Robustness Evaluation of Entity Disambiguation Using Prior Probes:the Case of Entity Overshadowing},
author = {Vera Provatorova and Svitlana Vakulenko and Samarth Bhargav and Evangelos Kanoulas},
journal= {arXiv preprint arXiv:2108.10949},
year = {2022}
}