IT5：面向意大利语理解与生成的文本到文本预训练
计算与语言
2024-05-21 v2
摘要
我们介绍 IT5，首个专门在意大利语上预训练的编码器-解码器 Transformer 模型族。我们记录并对大型意大利语语料库执行了彻底的清洗流程，并用其预训练了四种规模的 IT5 模型。随后我们引入 ItaGen 基准，其包含广泛的意大利语自然语言理解与生成任务，并用它评估 IT5 模型与多语言基线的性能。我们发现单语 IT5 模型在所测模型中提供最佳的规模-性能比，一致优于其多语言对应模型，并为意大利语语言生成确立了新的 state-of-the-art。
引用
@article{arxiv.2203.03759,
title = {IT5: Text-to-text Pretraining for Italian Language Understanding and Generation},
author = {Gabriele Sarti and Malvina Nissim},
journal= {arXiv preprint arXiv:2203.03759},
year = {2024}
}
备注
LREC-COLING 2024. Code and checkpoints: https://github.com/gsarti/it5