Cedille：一个大型自回归法语语言模型
计算与语言
2022-02-08 v1
摘要
扩大自回归语言模型的规模和训练已使得利用零样本和小样本学习解决自然语言处理任务的新方式成为可能。尽管 GPT-3 等极大规模语言模型具备多语言能力，但针对英语以外语言的零样本学习在很大程度上仍未被探索。在此，我们介绍 Cedille，一个大型开源自回归语言模型，专为法语训练。我们的结果表明，Cedille 优于现有的法语语言模型，并在一系列法语零样本基准上可与 GPT-3 竞争。此外，我们深入比较了这些模型所表现出的毒性，表明得益于数据集过滤，Cedille 在语言模型安全性方面取得了改进。
引用
@article{arxiv.2202.03371,
title = {Cedille: A large autoregressive French language model},
author = {Martin Müller and Florian Laurent},
journal= {arXiv preprint arXiv:2202.03371},
year = {2022}
}
备注
8 pages, 1 figure, 7 tables