多语言自回归实体链接
计算与语言
2021-03-24 v1 人工智能
机器学习
摘要
我们提出 mGENRE，一种用于多语言实体链接（MEL）问题的序列到序列系统——该任务将特定语言的提及解析到多语言知识库（KB）。对于给定的语言中的提及，mGENRE 以自回归方式从左到右、逐词元预测目标实体的名称。自回归公式使我们能够有效地交叉编码提及字符串与实体名称，以捕获比提及与实体向量间标准点积更多的交互。它还支持在大型 KB 中快速搜索，即使对于未出现在提及表中的提及也无需大规模向量索引。先前 MEL 工作对每个实体使用单一表示，而我们尽可能匹配多种语言的实体名称，从而可利用源输入与目标名称间的语言关联。此外，在完全无训练数据的语言零样本设置下，mGENRE 将目标语言视为预测时被边缘化的潜变量。这带来了平均准确率超过 50% 的提升。我们通过包括三个流行 MEL 基准测试上的实验在内的广泛评估展示了方法的有效性，mGENRE 在其中确立了新的 SOTA 结果。代码与预训练模型见 https://github.com/facebookresearch/GENRE。
引用
@article{arxiv.2103.12528,
title = {Multilingual Autoregressive Entity Linking},
author = {Nicola De Cao and Ledell Wu and Kashyap Popat and Mikel Artetxe and Naman Goyal and Mikhail Plekhanov and Luke Zettlemoyer and Nicola Cancedda and Sebastian Riedel and Fabio Petroni},
journal= {arXiv preprint arXiv:2103.12528},
year = {2021}
}
备注
20 pages, 8 figures, and 11 tables