BARThez:一个训练有素的法语预训练序列到序列模型
计算与语言
2021-02-10 v2
摘要
归纳迁移学习席卷了整个 NLP 领域,诸如 BERT 和 BART 等模型在无数 NLU 任务上刷新了最先进水平。然而,现有可用模型和研究大多针对英语展开。本工作中,我们推出 BARThez,这是首个面向法语的大规模预训练 seq2seq 模型。基于 BART,BARThez 尤其适用于生成式任务。我们在 FLUE 基准的五个判别任务以及我们为本研究创建的新摘要数据集 OrangeSum 的两个生成任务上评估了 BARThez。我们显示 BARThez 与基于 BERT 的顶尖法语语言模型(如 CamemBERT 和 FlauBERT)极具竞争力。我们还在 BARThez 语料上继续预训练一个多语言 BART,并显示所得模型 mBARThez 显著提升了 BARThez 的生成性能。代码、数据和模型均已公开可用。
引用
@article{arxiv.2010.12321,
title = {BARThez: a Skilled Pretrained French Sequence-to-Sequence Model},
author = {Moussa Kamal Eddine and Antoine J. -P. Tixier and Michalis Vazirgiannis},
journal= {arXiv preprint arXiv:2010.12321},
year = {2021}
}
备注
More experiments and results, human evaluation, reorganization of paper