Orion-14B：开源多语言大语言模型
计算与语言
2024-01-24 v1 机器学习
摘要
在本研究中，我们介绍了 Orion-14B，这是一系列拥有 140 亿参数的多语言大语言模型。我们采用数据调度方法，在一个包含 2.5 万亿 token 的多样化语料库上训练基础模型，该语料库来源于英文、中文、日文、韩文及其他语言的文本。此外，我们针对对话应用和其他特定用例微调了一系列模型。我们的评估结果表明，Orion-14B 在广泛的任务上达到了最先进的性能。我们公开了 Orion-14B 模型系列及其相关代码，访问地址为 https://github.com/OrionStarAI/Orion，旨在激发该领域未来的研究和实际应用。
引用
@article{arxiv.2401.12246,
title = {Orion-14B: Open-source Multilingual Large Language Models},
author = {Du Chen and Yi Huang and Xiaopu Li and Yongqiang Li and Yongqiang Liu and Haihui Pan and Leichao Xu and Dacheng Zhang and Zhipeng Zhang and Kun Han},
journal= {arXiv preprint arXiv:2401.12246},
year = {2024}
}
备注
Authors are alphabetically listed by last names, except the corresponding author who is listed last