MT6：带有翻译对的多语言预训练文本到文本 Transformer
计算与语言
2021-09-14 v2
摘要
多语言 T5（mT5）在大规模单语文本上预训练序列到序列模型，已在许多跨语言任务上展现出有前景的结果。本文中，我们利用翻译对改进多语言文本到文本迁移 Transformer（mT6）。具体而言，我们探索了三种跨语言文本到文本预训练任务，即机器翻译、翻译对片段掩码修复和翻译片段掩码修复。此外，我们提出了一种用于文本到文本预训练的部分非自回归目标。我们在八个多语言基准数据集上评估这些方法，包括句子分类、命名实体识别、问答和摘要生成。实验结果表明，所提出的 mT6 相比 mT5 提升了跨语言迁移能力。
引用
@article{arxiv.2104.08692,
title = {MT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs},
author = {Zewen Chi and Li Dong and Shuming Ma and Shaohan Huang Xian-Ling Mao and Heyan Huang and Furu Wei},
journal= {arXiv preprint arXiv:2104.08692},
year = {2021}
}
备注
EMNLP 2021