Octopus：一个面向阿拉伯语自然语言生成的多任务模型与工具包
计算与语言
2023-10-26 v1
摘要
理解阿拉伯语文本并生成类人响应是一项具有挑战性的工作。尽管许多研究者针对单个问题提出了模型和解决方案，但能够处理广泛任务的综合性阿拉伯语自然语言生成工具包极为匮乏。在本工作中，我们提出了一个新颖的阿拉伯语文本到文本 Transformer 模型，即 AraT5v2。我们的新模型在广泛且多样的数据上经过系统训练，使用了扩展至 2,048 个 token 的序列长度。我们探索了包括无监督、有监督和联合预训练在内的多种预训练策略，涵盖单任务与多任务设置。我们的模型以大幅优势超越具有竞争力的基线。我们进一步开发并公开发布 Octopus，一个基于 Python 的包和命令行工具包，专为八项阿拉伯语生成任务设计，均利用单一模型。我们在公共仓库上发布了模型和工具包。
引用
@article{arxiv.2310.16127,
title = {Octopus: A Multitask Model and Toolkit for Arabic Natural Language Generation},
author = {AbdelRahim Elmadany and El Moatez Billah Nagoudi and Muhammad Abdul-Mageed},
journal= {arXiv preprint arXiv:2310.16127},
year = {2023}
}