ERNIE：通过知识集成增强表示
计算与语言
2019-04-22 v1
摘要
我们提出了一种由知识增强的新型语言表示模型，称为 ERNIE（Enhanced Representation through kNowledge IntEgration，通过知识集成增强表示）。受 BERT 掩码策略的启发，ERNIE 旨在学习由知识掩码策略增强的语言表示，包括实体级掩码和短语级掩码。实体级策略掩码通常由多个词组成的实体。短语级策略掩码由几个词作为概念单元共同组成的整个短语。实验结果表明，ERNIE 优于其他基线方法，在包括自然语言推理、语义相似度、命名实体识别、情感分析和问答在内的五项中文自然语言处理任务上取得了新的 SOTA 结果。我们还证明了 ERNIE 在完形填空测试中具有更强大的知识推理能力。
引用
@article{arxiv.1904.09223,
title = {ERNIE: Enhanced Representation through Knowledge Integration},
author = {Yu Sun and Shuohuan Wang and Yukun Li and Shikun Feng and Xuyi Chen and Han Zhang and Xin Tian and Danxiang Zhu and Hao Tian and Hua Wu},
journal= {arXiv preprint arXiv:1904.09223},
year = {2019}
}
备注
8 pages