有监督实体链接预训练策略的实证评估
计算与语言
2020-06-01 v1 机器学习
摘要
本工作中，我们提出一种实体链接模型，其将 Transformer 架构与来自维基百科链接的大规模预训练相结合。我们的模型在两种常用实体链接数据集上达到了最优性能：CoNLL 上 96.7%，TAC-KBP 上 94.9%。我们给出详细分析以理解哪些设计选择对实体链接至关重要，包括负实体候选、Transformer 架构和输入扰动的选择。最后，我们在更具挑战性的设定下展示了有前景的结果，如端到端实体链接以及无领域内训练数据的实体链接。
引用
@article{arxiv.2005.14253,
title = {Empirical Evaluation of Pretraining Strategies for Supervised Entity Linking},
author = {Thibault Févry and Nicholas FitzGerald and Livio Baldini Soares and Tom Kwiatkowski},
journal= {arXiv preprint arXiv:2005.14253},
year = {2020}
}
备注
11 pages, 8 figures, appearing at AKBC 2020