走向并行：提升大语言模型的多语言能力

大语言模型(LLMs)即使未被明确训练于平行数据上也展现了令人印象深刻的翻译能力。这一显著特性使一些人认为平行数据对于构建多语言语言模型已不再必要。虽然有人将此归因于LLMs因规模增长而产生的涌现能力，但近期研究表明这实际上是由训练数据中偶然存在的双语信号所致。已提出多种方法以最大化平行数据的效用，从而增强基于编码器的多语言模型和编码器-解码器语言模型的多语言能力。然而，一些基于解码器的LLMs选择忽略平行数据。在本工作中，我们系统研究了添加平行数据对LLMs多语言能力的影响，重点关注翻译和多语言常识推理。通过受控实验，我们证明平行数据可以显著提升LLMs的多语言能力。