词汇共享如何促进 LLaMA 中的多语言能力

大语言模型(LLMs)通常在英语任务上表现强劲,而在其他语言上表现出局限性。当一个LLM仅在某些语言上训练时,它的多语言能力如何?其潜在机制仍不清楚。本研究致力于从词汇共享的视角,通过对101种语言的详尽分析来考察LLM的多语言能力。通过考察嵌入微调前后性能差距,我们发现了四个不同的象限。深入每个象限,我们为调优这些语言提供了可操作且高效的指导。大量实验表明,现有LLM拥有的多语言能力超出我们的预期,并且我们可以基于每个象限的这些属性显著提升LLM的多语言性能~\footnote{\url{https://github.com/CONE-MT/Vocabulary-Sharing-Facilitates-Multilingualism}.}。