K-BERT：基于知识图谱实现语言表示
计算与语言
2019-09-18 v1 机器学习
摘要
BERT 等预训练语言表示模型从大规模语料中获取通用语言表示，但缺乏领域特定知识。专家在阅读领域文本时，会借助相关知识进行推断。为使机器具备该能力，我们提出一种结合知识图谱（KG）的知识赋能语言表示模型 K-BERT，其中三元组作为领域知识被注入句子中。然而，过多知识引入可能使句子偏离正确含义，即所谓知识噪声（KN）问题。为克服 KN，K-BERT 引入软位置与可见矩阵以限制知识的影响。K-BERT 无需自行预训练，只需配备 KG 即可轻松将领域知识注入模型，因其能够加载预训练 BERT 的模型参数。我们的研究在十二项 NLP 任务中展现出有前景的结果。尤其在领域特定任务（包括金融、法律与医学）中，K-BERT 显著优于 BERT，表明 K-BERT 是解决需专家参与的知识驱动问题的优良选择。
引用
@article{arxiv.1909.07606,
title = {K-BERT: Enabling Language Representation with Knowledge Graph},
author = {Weijie Liu and Peng Zhou and Zhe Zhao and Zhiruo Wang and Qi Ju and Haotang Deng and Ping Wang},
journal= {arXiv preprint arXiv:1909.07606},
year = {2019}
}
备注
8 pages, 20190917