PeLLE：基于开放数据的巴西葡萄牙语编码器语言模型
计算与语言
2024-03-01 v1
摘要
本文介绍了 PeLLE，这是一系列基于 RoBERTa 架构、针对巴西葡萄牙语的大型语言模型，使用来自 Carolina 语料库的精选开放数据进行训练。旨在实现可复现的结果，我们描述了模型预训练的细节。我们还在一组现有的多语言和 PT-BR 精炼的基于 Transformer 的 LLM 编码器上评估了 PeLLE 模型，对比了大型模型与较小但经过精选数据的预训练模型在多种下游任务中的性能。我们得出结论，某些任务在大型模型上表现更好，但有些任务则受益于其预训练中使用的较小但经过精选的数据。
引用
@article{arxiv.2402.19204,
title = {PeLLE: Encoder-based language models for Brazilian Portuguese based on open data},
author = {Guilherme Lamartine de Mello and Marcelo Finger and and Felipe Serras and Miguel de Mello Carpi and Marcos Menon Jose and Pedro Henrique Domingues and Paulo Cavalim},
journal= {arXiv preprint arXiv:2402.19204},
year = {2024}
}
备注
15 pages