BLOOM+1：为BLOOM增加语言支持以实现零样本提示
计算与语言
2023-05-30 v3 人工智能
机器学习
摘要
BLOOM模型是一个大型公开的多语言语言模型，但其预训练仅限于46种语言。为了将BLOOM的优势扩展到其他语言，同时避免产生高昂的成本，我们期望能将BLOOM适配到预训练中未见的新语言。在这项工作中，我们将现有的语言适配策略应用于BLOOM，并在资源受限的设置下，对其在八种新语言上的零样本提示性能进行了基准测试。我们发现语言适配能有效提升新语言的零样本性能。令人惊讶的是，我们发现对于大型模型，基于适配器的微调比继续预训练更有效。此外，我们发现提示性能并未受到语言特性（如书写系统）的显著影响，它主要由语言适配数据的大小决定。我们还将新语言添加到了BLOOMZ中，BLOOMZ是BLOOM的一个多任务微调版本，能够零样本地遵循任务指令。我们发现，将一种新语言包含在多任务微调混合数据中是教会BLOOMZ新语言的最有效方法。我们得出结论，只要有足够的训练数据，语言适配可以很好地泛化到多种语言。我们的代码可在https://github.com/bigscience-workshop/multilingual-modeling获取。
引用
@article{arxiv.2212.09535,
title = {BLOOM+1: Adding Language Support to BLOOM for Zero-Shot Prompting},
author = {Zheng-Xin Yong and Hailey Schoelkopf and Niklas Muennighoff and Alham Fikri Aji and David Ifeoluwa Adelani and Khalid Almubarak and M Saiful Bari and Lintang Sutawika and Jungo Kasai and Ahmed Baruwa and Genta Indra Winata and Stella Biderman and Edward Raff and Dragomir Radev and Vassilina Nikoulina},
journal= {arXiv preprint arXiv:2212.09535},
year = {2023}
}
备注
ACL 2023