如果英语不是中心语言，我们能否拥有更好的多语言大语言模型？
计算与语言
2024-04-08 v2 人工智能
摘要
大语言模型（LLM）在其训练过的语言上展现出强大的机器翻译能力。然而，除训练数据规模之外的因素对翻译性能的影响仍存在争议，特别是针对训练期间未直接遇到的语言。本研究深入探讨了 Llama2 的翻译能力。通过建模语言特征距离与机器翻译得分之间的线性关系，我们探讨了是否存在比英语更适合作为 LLM 中心语言的其他语言。实验表明，7B 参数的 Llama2 模型在翻译其见过的所有语言时，BLEU 得分均超过 10，而这在其未见过的语言中极少发生。大多数针对未见语言的翻译提升源于模型规模的扩大，而非指令微调或增加示例数量。此外，我们的相关性分析揭示，句法相似性并非唯一与机器翻译得分强相关的语言因素。有趣的是，我们发现特定情况下，某些语言（如瑞典语、加泰罗尼亚语）尽管训练数据显著较少，却表现出与英语相当的相关性水平。这些发现挑战了当前 LLM 的格局，表明以英语以外的语言为中心的模型可能为多语言应用提供更高效的基础。
引用
@article{arxiv.2402.13917,
title = {Could We Have Had Better Multilingual LLMs If English Was Not the Central Language?},
author = {Ryandito Diandaru and Lucky Susanto and Zilu Tang and Ayu Purwarianti and Derry Wijaya},
journal= {arXiv preprint arXiv:2402.13917},
year = {2024}
}
备注
TDLE 2024