TigerBot：一个开源的多语言多任务 LLM
计算与语言
2023-12-18 v2 人工智能
摘要
我们发布并介绍了 TigerBot 大型语言模型（LLM）系列，包含基础模型和对话模型，参数规模分别为 7、13、70 和 1800 亿。我们的模型从 Llama-2 和 BLOOM 出发进行开发，并在数据、训练算法、基础设施和应用工具方面进一步突破了边界。我们的模型相比 SOTA 开源模型（如 Llama-2）取得了显著的性能提升，具体而言，在英文上提升了 6%，在中文上提升了 20%。TigerBot 模型系列在主要的学术和工业基准测试及排行榜上也取得了领先的性能。我们相信，TigerBot 仅仅代表了 LLM 开源社区闪电般快速发展的一个缩影。因此，我们非常高兴能够通过公开发布我们的模型并报告其背后的方法来回馈社区，同时特别强调以民主化的方式构建 SOTA LLM，并使 LLM 在实际应用中发挥作用。
引用
@article{arxiv.2312.08688,
title = {TigerBot: An Open Multilingual Multitask LLM},
author = {Ye Chen and Wei Cai and Liangmin Wu and Xiaowei Li and Zhanxuan Xin and Cong Fu},
journal= {arXiv preprint arXiv:2312.08688},
year = {2023}
}