GEB-1.3B：开源轻量级大语言模型
计算与语言
2024-06-17 v1
摘要
最近开发的大型语言模型（Large Language Model, LLM），如 ChatGPT、Claude 和 Llama，都展现了惊人的能力，甚至在几个任务中超越了人类的水平。尽管如此，这些模型对资源的需求非常严格，既需要大量计算资源进行训练，也需要大量计算资源进行推理，从而将其部署限制在高性能服务器上。此外，这些模型的广泛计算要求常常导致响应时间延长。随着 LLM 在 CPU 上高效运行的需求日益增长，针对针对 CPU 推理优化的轻量级模型研究日益活跃。本工作介绍 GEB-1.3B，这是一个在中英文语言上训练了 5500 亿 token 的轻量级 LLM。我们采用 novel 训练技术，包括 ROPE、Group-Query-Attention 和 FlashAttention-2，以加速训练同时保持模型性能。此外，我们使用 1000 万样本的指令数据进行微调，以增强对齐。GEB-1.3B 在通用基准测试（如 MMLU、C-Eval 和 CMMLU）上表现突出，优于诸如 MindLLM-1.3B 和 TinyLLaMA-1.1B 等比较模型。值得注意的是，GEB-1.3B 的 FP32 版本在 CPU 上实现了令人钦佩的推理时间，正在通过先进的量化技术进一步提升速度。GEB-1.3B 作为开源模型的发布，标志着轻量级 LLM 发展的重要贡献，为该领域的进一步研究与创新指明了道路。
引用
@article{arxiv.2406.09900,
title = {GEB-1.3B: Open Lightweight Large Language Model},
author = {Jie Wu and Yufeng Zhu and Lei Shen and Xuqing Lu},
journal= {arXiv preprint arXiv:2406.09900},
year = {2024}
}
备注
GEB-1.3B technical report