KEPLET：具有主题实体感知的知识增强预训练语言模型
计算与语言
2023-05-04 v1 人工智能
摘要
近年来，预训练语言模型（PLM）通过在非结构化文本语料上预训练再在下游任务上微调展现出优越性。在如维基百科这类富含实体的文本资源上，知识增强 PLM（KEPLM）在预训练中融入了词元与所提及实体间的交互，因而在实体中心任务（如实体链接与关系分类）上更为有效。尽管在一定程度上利用了维基百科的丰富结构，传统 KEPLM 仍忽视了语料的一种独特布局：每个维基百科页面围绕一个主题实体（由页面 URL 标识并显于页面标题）。本文中，我们证明未融入主题实体的 KEPLM 会导致实体交互不足及（关系）词语义偏置。因此我们提出 KEPLET，一种新颖的具有主题实体感知的知识增强预训练语言模型（Knowledge-Enhanced Pre-trained LanguagE model with Topic entity awareness）。KEPLET 以端到端方式识别在维基百科句子中何处添加主题实体信息，将此类信息融合进词元与提及实体的表示，并监督网络学习，由此将主题实体重新纳入考量。实验证明了 KEPLET 的通用性与优越性，其应用于两个代表性 KEPLM 时，在四项实体中心任务上取得显著提升。
引用
@article{arxiv.2305.01810,
title = {KEPLET: Knowledge-Enhanced Pretrained Language Model with Topic Entity Awareness},
author = {Yichuan Li and Jialong Han and Kyumin Lee and Chengyuan Ma and Benjamin Yao and Derek Liu},
journal= {arXiv preprint arXiv:2305.01810},
year = {2023}
}