KgPLM：基于生成式与判别式学习的知识引导语言模型预训练
计算与语言
2020-12-08 v1 人工智能
摘要
近期关于预训练语言模型的研究已证明其捕获事实知识的能力及在知识感知下游任务中的应用。本文提出一种由事实知识补全与验证引导的语言模型预训练框架，并协同使用生成式与判别式方法学习模型。特别地，我们探究了两种学习方案，即双塔方案与流水线方案，以在共享参数下训练生成器与判别器。在LAMA（一组零样本完形填空式问答任务）上的实验结果表明，我们的模型比常规预训练语言模型包含更丰富的事实知识。此外，当在由若干机器阅读理解数据集组成的MRQA共享任务上微调与评估时，我们的模型取得了最优性能，并在NewsQA（+1.26 F1）和TriviaQA（+1.56 F1）上相较RoBERTa获得大幅提升。
引用
@article{arxiv.2012.03551,
title = {KgPLM: Knowledge-guided Language Model Pre-training via Generative and Discriminative Learning},
author = {Bin He and Xin Jiang and Jinghui Xiao and Qun Liu},
journal= {arXiv preprint arXiv:2012.03551},
year = {2020}
}
备注
10 pages, 3 figures