语言多样性对大语言模型翻译微调效果的影响

先前的研究在大语言模型微调中关于语言多样性的观点存在分歧：一些研究报告称多样性带来收益，而另一些研究则未发现优势。通过对132种翻译方向进行受控微调实验，我们系统性地解决了这些分歧。我们发现，在微调过程中扩大语言多样性能够提升无监督及——令人惊讶地——有监督平行语料的翻译质量，尽管那些语言多样性较小的模型仅在这些有监督平行语料上进行微调。然而，超过某一阈值后，益处会出现平台期或下降。我们表明，增加语言多样性会创建更具语言中性特征的表示。这些表征性的调整解释了使用更大语言多样性进行微调的模型性能提升的原因。