Stable LM 2 1.6B 技术报告
计算与语言
2024-02-29 v1 机器学习
摘要
我们推出 Stable LM 2 1.6B，这是我们新一代语言模型系列中的首款模型。在本技术报告中，我们详细介绍了导致 Stable LM 2 1.6B 基座版本和指令微调版本的数据和训练过程。这两个模型的权重均可通过 Hugging Face 供任何人下载和使用。本报告包含对这些模型的全面评估，包括零样本和少样本基准测试、多语言基准测试以及专注于多轮对话的 MT 基准测试。在发布本报告时，Stable LM 2 1.6B 是参数量低于 2B 的最先进开源模型，且优势显著。鉴于其吸引人的小尺寸，我们还提供了在多种边缘设备上的吞吐量测量。此外，我们开源了几个量化检查点，并提供了它们与原始模型相比的性能指标。
引用
@article{arxiv.2402.17834,
title = {Stable LM 2 1.6B Technical Report},
author = {Marco Bellagente and Jonathan Tow and Dakota Mahan and Duy Phung and Maksym Zhuravinskyi and Reshinth Adithyan and James Baicoianu and Ben Brooks and Nathan Cooper and Ashish Datta and Meng Lee and Emad Mostaque and Michael Pieler and Nikhil Pinnaparju and Paulo Rocha and Harry Saini and Hannah Teufel and Niccolo Zanichelli and Carlos Riquelme},
journal= {arXiv preprint arXiv:2402.17834},
year = {2024}
}
备注
23 pages, 6 figures