具有判别性校正的高度并行自回归实体链接
计算与语言
2021-09-09 v1 人工智能
机器学习
摘要
最近的研究表明，生成式方法在实体消歧和实体链接（即联合提及检测与消歧）中均非常有效。然而，先前提出的自回归实体链接公式存在以下问题：i) 由于复杂（深层）的解码器导致计算成本高；ii) 不可并行的解码过程随源序列长度而扩展；iii) 需要大量数据进行训练。在本工作中，我们提出了一种非常高效的方法，将所有潜在提及的自回归链接并行化，并依赖于一个浅层且高效的解码器。此外，我们在生成目标中增加了一个额外的判别性组件，即一个校正项，使我们能够直接优化生成器的排序。将这些技术结合在一起，解决了上述所有问题：我们的模型比以前的生成式方法快 70 倍以上且更准确，在标准英文数据集 AIDA-CoNLL 上超越了现有最先进的方法。源代码可在 https://github.com/nicola-decao/efficient-autoregressive-EL 获取
引用
@article{arxiv.2109.03792,
title = {Highly Parallel Autoregressive Entity Linking with Discriminative Correction},
author = {Nicola De Cao and Wilker Aziz and Ivan Titov},
journal= {arXiv preprint arXiv:2109.03792},
year = {2021}
}
备注
Accepted at EMNLP2021 Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Code at https://github.com/nicola-decao/efficient-autoregressive-EL . 8 pages, 1 figure, 3 tables