面向资源较少的斯洛文尼亚语的序列到序列预训练
计算与语言
2023-01-03 v2
摘要
大型预训练语言模型近来已征服自然语言处理领域。作为 BERT 中引入的主流掩码语言建模的替代方案，T5 模型提出了更通用的训练目标，即序列到序列转换，其包含掩码语言模型，但更自然地适配机器翻译、摘要、问答、文本简化、对话系统等文本生成任务。T5 模型的单语变体仅限于资源丰富的语言，而大规模多语 T5 模型支持 101 种语言。相比之下，我们在资源少得多的形态丰富斯洛文尼亚语上训练了两种不同规模的 T5 型序列到序列模型，并分析了它们在 11 个任务上的表现。在分类任务方面，SloT5 模型大多落后于单语斯洛文尼亚语 SloBERTa 模型，但对生成任务有用。
引用
@article{arxiv.2207.13988,
title = {Sequence to sequence pretraining for a less-resourced Slovenian language},
author = {Matej Ulčar and Marko Robnik-Šikonja},
journal= {arXiv preprint arXiv:2207.13988},
year = {2023}
}
备注
19 pages