基于文本到文本模型的波兰语迁移学习评估
计算与语言
2022-05-19 v1 机器学习
摘要
我们提出了一个新的基准，用于评估波兰语文本到文本模型的质量。该基准由多种任务和数据集组成：适配为文本到文本形式的 KLEJ 基准、英-波翻译、摘要生成和问答。特别地，由于摘要生成和问答缺乏波兰语基准数据集，我们描述了其构建过程并公开发布。此外，我们提出了 plT5——一个面向波兰语的通用文本到文本模型，可通过单一训练目标在各种自然语言处理（NLP）任务上微调。无监督去噪预训练通过用多语言 T5（mT5）对应模型初始化模型权重来高效完成。我们评估了 plT5、mT5、Polish BART（plBART）和 Polish GPT-2（papuGaPT2）的性能。除摘要生成外，plT5 在所有这些任务上均取得最佳分数，而摘要生成中 plBART 最优。总体而言（摘要生成除外），模型越大结果越好。编码器-解码器架构被证明优于仅解码器架构。
引用
@article{arxiv.2205.08808,
title = {Evaluation of Transfer Learning for Polish with a Text-to-Text Model},
author = {Aleksandra Chrabrowa and Łukasz Dragan and Karol Grzegorczyk and Dariusz Kajtoch and Mikołaj Koszowski and Robert Mroczkowski and Piotr Rybak},
journal= {arXiv preprint arXiv:2205.08808},
year = {2022}
}
备注
Accepted at LREC 2022