多少种语言才能实现良好的多语言指令微调？基于BLOOM的案例研究

使用多种语言对大型语言模型进行指令微调，可以使其为多语言下游任务做好准备。然而，尚不确定少量语言是否足够，或者随着包含更多语言，收益是否会增加。通过在1到52种语言上微调大型多语言模型，我们以BLOOM为例，研究了影响性能的三个相关因素：语言数量、语言暴露度以及训练语言与测试语言之间的相似性。总体我们发现：1）在多语言指令微调中扩大语言覆盖范围是有益的；2）如果测试语言出现在指令混合中，准确率通常会显著提升；3）语言的遗传特征与跨语言迁移的相关性比单纯的语言数量更强，但不同语言的受益程度不同。