通过多任务微调实现跨语言泛化
计算与语言
2023-05-30 v2 人工智能
机器学习
摘要
多任务提示微调（MTF）已被证明可帮助大语言模型在零样本设定下泛化到新任务，但迄今为止对 MTF 的探索都集中于英语数据与模型。我们将 MTF 应用于预训练的多语言 BLOOM 与 mT5 模型族，得到称为 BLOOMZ 与 mT0 的微调变体。我们发现，使用英语提示在英语任务上微调大型多语言语言模型，可实现对仅出现在预训练语料中的非英语语言的任务泛化。在多语言任务上使用英语提示进行微调，进一步提升了英语与非英语任务的性能，从而取得多项最先进的零样本结果。我们还研究了在多语言任务上使用从英语机器翻译以匹配各数据集语言的提示进行微调。我们发现，在这些机器翻译提示上训练可提升在相应语言人工撰写提示上的表现。令人惊讶的是，我们发现模型能够对从未有意见过的语言中的任务进行零样本泛化。我们推测，模型正在学习兼具任务无关与语言无关的高层能力。此外，我们引入了 xP3，一个由 46 种语言的有监督数据集与英语及机器翻译提示组成的复合数据集。我们的代码、数据集与模型可在 https://github.com/bigscience-workshop/xmtf 免费获取。
引用
@article{arxiv.2211.01786,
title = {Crosslingual Generalization through Multitask Finetuning},
author = {Niklas Muennighoff and Thomas Wang and Lintang Sutawika and Adam Roberts and Stella Biderman and Teven Le Scao and M Saiful Bari and Sheng Shen and Zheng-Xin Yong and Hailey Schoelkopf and Xiangru Tang and Dragomir Radev and Alham Fikri Aji and Khalid Almubarak and Samuel Albanie and Zaid Alyafeai and Albert Webson and Edward Raff and Colin Raffel},
journal= {arXiv preprint arXiv:2211.01786},
year = {2023}
}
备注
9 main pages (119 with appendix), 16 figures and 11 tables