ERNIE 2.0：一种用于语言理解的持续预训练框架
计算与语言
2019-11-22 v2
摘要
近年来，预训练模型在各种语言理解任务上取得了最先进的结果，这表明在大规模语料库上进行预训练可能在自然语言处理中起着关键作用。当前的预训练过程通常侧重于通过几个简单任务来训练模型以掌握词或句子的共现关系。然而，除了共现之外，训练语料库中还存在其他有价值的词汇、句法和语义信息，如命名实体、语义贴近度和话语关系。为了从训练语料库中最大限度地提取词汇、句法和语义信息，我们提出了一种名为 ERNIE 2.0 的持续预训练框架，该框架通过持续的多任务学习逐步构建并学习预训练任务。实验结果表明，ERNIE 2.0 在包括 GLUE 基准上的英文任务和若干中文常见任务在内的 16 个任务上优于 BERT 和 XLNet。源代码和预训练模型已发布于 https://github.com/PaddlePaddle/ERNIE。
引用
@article{arxiv.1907.12412,
title = {ERNIE 2.0: A Continual Pre-training Framework for Language Understanding},
author = {Yu Sun and Shuohuan Wang and Yukun Li and Shikun Feng and Hao Tian and Hua Wu and Haifeng Wang},
journal= {arXiv preprint arXiv:1907.12412},
year = {2019}
}
备注
11 pages, 3 figures and 7 tables; Accepted by AAAI 2020