GreekBART:首个预训练的希腊语序列到序列模型
计算与语言
2023-04-04 v1
摘要
迁移学习的时代已经彻底改变了计算机视觉与自然语言处理领域,带来了在多种任务上表现卓越的强大预训练模型。具体而言,自然语言处理任务已被基于 transformer 的语言模型所主导。在自然语言推理与自然语言生成任务中,BERT 模型及其变体,以及 GPT 模型及其后继者,都展现了典范级的性能。然而,这些模型大多主要针对英语或基于多语言语料库进行预训练与评估。在本文中,我们介绍 GreekBART,这是首个基于 BART-base 架构并在大规模希腊语语料上预训练的 Seq2Seq 模型。我们在多种判别性任务上将 GreekBART 与 BART-random、Greek-BERT 和 XLM-R 进行了评估与比较。此外,我们在希腊语全新摘要数据集 GreekSUM 的两个 NLG 任务上考察了其性能。该模型、代码以及新的摘要数据集将公开可用。
引用
@article{arxiv.2304.00869,
title = {GreekBART: The First Pretrained Greek Sequence-to-Sequence Model},
author = {Iakovos Evdaimon and Hadi Abdine and Christos Xypolopoulos and Stamatis Outsios and Michalis Vazirgiannis and Giorgos Stamou},
journal= {arXiv preprint arXiv:2304.00869},
year = {2023}
}