AraT5：面向阿拉伯语生成的文本到文本 Transformer 模型
计算与语言
2022-03-16 v4
摘要
近期提出的统一 Transformer 框架（T5）将全部语言问题转化为文本到文本格式，作为一种简单有效的迁移学习方法被提出。尽管也引入了 T5 的多语言版本（mT5），但尚不清楚其在涉及多样化数据的非英语任务上表现如何。为探究此问题，我们将 mT5 应用于具有广泛方言的阿拉伯语。为评估，我们引入一个新的阿拉伯语生成基准（ARGEN），涵盖七项重要任务。为比较模型，我们预训练了三个强大的阿拉伯语 T5 风格模型并在 ARGEN 上评估。尽管预训练数据量少约 49 倍，我们的新模型在所有 ARGEN 任务上（59 个测试集中的 52 个）显著优于 mT5，并创下多项新 SOTA。我们的模型还在近期提出的大型阿拉伯语理解评测基准 ARLUE（Abdul-Mageed 等，2021）上确立新 SOTA。我们的新模型已公开可用。我们也通过仓库链接至 ARGEN 数据集：https://github.com/UBC-NLP/araT5。
引用
@article{arxiv.2109.12068,
title = {AraT5: Text-to-Text Transformers for Arabic Language Generation},
author = {El Moatez Billah Nagoudi and AbdelRahim Elmadany and Muhammad Abdul-Mageed},
journal= {arXiv preprint arXiv:2109.12068},
year = {2022}
}
备注
Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL 2022). All authors contributed equally