模型缩放对已见与未见语言性能的影响

大型语言模型（LLM）的快速发展，尤其是在多语言语料库上训练的模型，加剧了深入理解其在多种语言和不同模型规模下性能的需求。我们的研究通过分析多语言 LLM 在 204 种语言的文本分类和机器翻译任务中的性能与缩放行为，满足了这一关键需求。我们在零样本和少样本设置下，系统地检验了三种不同规模模型家族中的已见与未见语言。研究结果表明，零样本与二样本场景下的缩放行为存在显著差异，且已见与未见语言之间的性能存在显著差距。模型规模对零样本性能影响甚微，其性能基本保持平稳。然而，在二样本设置下，更大的模型在多语言文本分类中表现出明显的线性提升。但对于翻译任务，仅指令微调模型从缩放中表现出明显收益。我们的分析还表明，整体资源水平而不仅是预训练语言的比例，是模型性能的更好预测指标，这为理解驱动多语言 LLM 有效性的因素提供了启示。