K-XLNet：一种将显式知识与语言模型预训练相结合的通用方法
计算与语言
2021-06-01 v2 人工智能
摘要
尽管 BERT 和 XLNet 等预训练语言模型已迅速推动了众多 NLP 任务的最先进水平，但它们仅依赖语料中词间的表层信息来隐含语义。直观而言，背景知识会影响理解的效果。受此常识启发，我们致力于通过利用显式知识来改进模型预训练。与近期通过知识掩码策略优化预训练模型的研究不同，我们提出了一种简单但通用的将显式知识与预训练相结合的方法。具体而言，我们首先从知识图谱（KG）中匹配知识事实，然后在不改变 transformer 架构的情况下直接为其添加一个知识注入层。本研究旨在探明显式知识对 transformer 预训练的直接影响。我们在多个数据集上针对不同下游任务开展了实验。实验结果表明，仅向 transformer 添加外部知识即可提升其在许多 NLP 任务上的学习表现。
引用
@article{arxiv.2104.10649,
title = {K-XLNet: A General Method for Combining Explicit Knowledge with Language Model Pretraining},
author = {Ruiqing Yan and Lanchang Sun and Fang Wang and Xiaoming Zhang},
journal= {arXiv preprint arXiv:2104.10649},
year = {2021}
}