NEZHA：面向中文语言理解的神经上下文表示
计算与语言
2021-11-22 v3
摘要
预训练语言模型因能够在大规模语料上预训练从而捕获文本中深度上下文信息的能力，已在各种自然语言理解（NLU）任务中取得巨大成功。在本技术报告中，我们介绍了在中文语料上预训练名为 NEZHA（NEural contextualiZed representation for CHinese lAnguage understanding，面向中文语言理解的神经上下文表示）的语言模型并针对中文 NLU 任务进行微调的实践。当前版本的 NEZHA 基于 BERT 并集成了一系列已验证的改进，包括作为有效位置编码方案的函数式相对位置编码、全词掩码策略、混合精度训练以及训练模型时使用的 LAMB 优化器。实验结果表明，当在若干具有代表性的中文任务上微调时，NEZHA 取得了最先进的性能，这些任务包括命名实体识别（People's Daily NER）、句子匹配（LCQMC）、中文情感分类（ChnSenti）和自然语言推理（XNLI）。
引用
@article{arxiv.1909.00204,
title = {NEZHA: Neural Contextualized Representation for Chinese Language Understanding},
author = {Junqiu Wei and Xiaozhe Ren and Xiaoguang Li and Wenyong Huang and Yi Liao and Yasheng Wang and Jiashu Lin and Xin Jiang and Xiao Chen and Qun Liu},
journal= {arXiv preprint arXiv:1909.00204},
year = {2021}
}