PEL-BERT：一种协议实体链接联合模型
计算与语言
2020-02-04 v1 人工智能
机器学习
摘要
BERT 等预训练模型广泛应用于 NLP 任务，并通过微调持续提升各类 NLP 任务性能。然而，在我们协议语料上训练的微调 BERT 模型在实体链接（EL）任务上表现仍较弱。本文提出一种将微调语言模型与 RFC 领域模型相联合的模型。首先，我们设计协议知识库作为协议实体链接的指导准则。其次，提出一种新颖模型 PEL-BERT，将协议中的命名实体链接至协议知识库中的类别。最后，我们针对预训练语言模型在描述性文本与抽象概念上的性能开展综合研究。实验结果表明，我们的模型在标注数据集的实体链接上达到最先进性能，优于所有基线。
引用
@article{arxiv.2002.00744,
title = {PEL-BERT: A Joint Model for Protocol Entity Linking},
author = {Shoubin Li and Wenzao Cui and Yujiang Liu and Xuran Ming and Jun Hu and YuanzheHu and Qing Wang},
journal= {arXiv preprint arXiv:2002.00744},
year = {2020}
}