FlauBERT：面向法语的无监督语言模型预训练
计算与语言
2020-03-16 v4 机器学习
摘要
语言模型已成为在许多不同自然语言处理（NLP）任务中取得最先进结果的关键步骤。利用当今大量可用的无标注文本，它们提供了一种高效的方式来预训练连续词表示，这些表示可在句子层面进行上下文化并针对下游任务微调。这一点已通过上下文表示在英语上得到广泛证明（Dai and Le, 2015; Peters et al., 2018; Howard and Ruder, 2018; Radford et al., 2018; Devlin et al., 2019; Yang et al., 2019b）。在本文中，我们介绍并共享FlauBERT，一个在非常大规模且异构的法语语料上学习的模型。使用新的CNRS（法国国家科学研究中心）Jean Zay超级计算机训练了不同规模的模型。我们将我们的法语语言模型应用于多种NLP任务（文本分类、释义、自然语言推理、句法分析、词义消歧），并表明大多数情况下它们优于其他预训练方法。不同版本的FlauBERT以及称为FLUE（French Language Understanding Evaluation，法语语言理解评测）的下游任务统一评测协议已共享给研究界，以用于法语NLP中进一步的 reproducible 实验。
引用
@article{arxiv.1912.05372,
title = {FlauBERT: Unsupervised Language Model Pre-training for French},
author = {Hang Le and Loïc Vial and Jibril Frej and Vincent Segonne and Maximin Coavoux and Benjamin Lecouteux and Alexandre Allauzen and Benoît Crabbé and Laurent Besacier and Didier Schwab},
journal= {arXiv preprint arXiv:1912.05372},
year = {2020}
}
备注
Accepted to LREC 2020