mLongT5：面向更长序列的多语言高效文本到文本Transformer
计算与语言
2023-10-30 v2
摘要
我们介绍了在开发适用于处理长输入的多语言高效文本到文本 Transformer 方面的工作。该模型称为 mLongT5，基于 LongT5 的架构构建，同时利用了用于预训练 mT5 的多语言数据集以及 UL2 的预训练任务。我们在多种多语言摘要和问答任务上评估了该模型，结果显示与 mBART 或 M-BERT 等现有多语言模型相比，mLongT5 具有更强的性能。
引用
@article{arxiv.2305.11129,
title = {mLongT5: A Multilingual and Efficient Text-To-Text Transformer for Longer Sequences},
author = {David Uthus and Santiago Ontañón and Joshua Ainslie and Mandy Guo},
journal= {arXiv preprint arXiv:2305.11129},
year = {2023}
}