ERNIE：融合信息实体的增强语言表示
计算与语言
2019-06-05 v3
摘要
诸如 BERT 等在大规模语料上预训练的神经网络语言表示模型，能从纯文本中很好地捕捉丰富语义模式，并经微调持续改善各类 NLP 任务性能。然而，现有预训练语言模型很少考虑融入知识图谱（KGs），而后者可提供丰富结构化知识事实以助语言理解。我们认为 KGs 中的信息实体可利用外部知识增强语言表示。本文中，我们利用大规模文本语料与 KGs 训练一种增强语言表示模型（ERNIE），其可同时充分利用词法、句法与知识信息。实验结果表明，ERNIE 在多种知识驱动任务上取得显著提升，同时在其他常见 NLP 任务上与最优模型 BERT 相当。本文源代码可从 https://github.com/thunlp/ERNIE 获取。
引用
@article{arxiv.1905.07129,
title = {ERNIE: Enhanced Language Representation with Informative Entities},
author = {Zhengyan Zhang and Xu Han and Zhiyuan Liu and Xin Jiang and Maosong Sun and Qun Liu},
journal= {arXiv preprint arXiv:1905.07129},
year = {2019}
}
备注
Accepted by ACL 2019