基于高效长程序列建模的零样本实体链接
计算与语言
2022-12-20 v1 人工智能
摘要
本文研究零样本实体链接问题，其中测试时出现的链接可能在训练中未出现。遵循盛行的基于 BERT 的研究思路，我们发现一种简单而有效的方法是扩展长程序列建模。与许多先前方法不同，我们的方法不需要用长位置嵌入对 BERT 进行昂贵的预训练。相反，我们提出了一种称为 Embedding-repeat 的高效位置嵌入初始化方法，该方法基于 BERT-Base 初始化更大的位置嵌入。在 Wikia 的零样本 EL 数据集上，我们的方法将 SOTA 从 76.06% 提升至 79.08%，而对于其长数据，相应提升为从 74.57% 到 82.14%。我们的实验表明了无需重训 BERT 模型的长程序列建模的有效性。
引用
@article{arxiv.2010.06065,
title = {Zero-shot Entity Linking with Efficient Long Range Sequence Modeling},
author = {Zonghai Yao and Liangliang Cao and Huapu Pan},
journal= {arXiv preprint arXiv:2010.06065},
year = {2022}
}
备注
6 pages, 6 figures, Findings of EMNLP2020