BigTranslate：以百种以上多语言翻译能力增强大语言模型
计算与语言
2023-11-22 v3
摘要
大语言模型（large language models, LLMs）在各种自然语言之间展现出有前景的翻译性能。然而，许多 LLM 尤其是开源的模型，如 BLOOM 和 LLaMA，以英语为主导且仅支持数十种自然语言，使得 LLM 在语言翻译上的潜力未被充分探索。在本工作中，我们提出 BigTranslate，它适配仅覆盖 20 种语言的 LLaMA，并将其增强为具备 100 种以上自然语言的多语言翻译能力。BigTranslate 构建于 LLaMA-13B 之上，并通过三步优化。首先，我们使用海量中文单语数据继续训练 LLaMA。其次，我们使用覆盖 102 种自然语言的大规模平行数据集继续训练该模型。第三，我们使用多语言翻译指令对基础模型进行指令微调，得到我们的 BigTranslate 模型。多语言翻译的初步实验表明，BigTranslate 在许多语言上与 ChatGPT 和 Google Translate 表现相当，甚至在 8 个语言对上超越 ChatGPT。我们发布 BigTranslate 模型，希望它能推进研究进展。
引用
@article{arxiv.2305.18098,
title = {BigTranslate: Augmenting Large Language Models with Multilingual Translation Capability over 100 Languages},
author = {Wen Yang and Chong Li and Jiajun Zhang and Chengqing Zong},
journal= {arXiv preprint arXiv:2305.18098},
year = {2023}
}
备注
16 pages, 4 figures. Our model is available at https://github.com/ZNLP/BigTranslate