Zamba2套件：技术报告
机器学习
2024-11-26 v1 人工智能
计算与语言
摘要
本技术报告介绍了Zamba2系列——一套1.2B、2.7B和7.4B参数的混合Mamba2-Transformer模型，相较于同类领先开源模型在性能上实现了突破性提升，同时在推理延迟、吞吐量和内存效率方面取得了显著收益。Zamba2系列建立在我们最初的Zamba1-7B工作基础上，优化了其架构、训练方法和annealing数据集，并训练了最多三千亿个标记。我们为Zamba2系列的所有模型提供开源权重，以及经过指令微调的变体，这些变体在性能上与同类的指令微调模型具有强大的竞争力。我们 additionally open-source了用于训练Zamba2系列模型的预训练数据集，称为Zyda-2。本工作中使用的模型和数据集均已在 https://huggingface.co/Zyphra 上公开。
引用
@article{arxiv.2411.15242,
title = {The Zamba2 Suite: Technical Report},
author = {Paolo Glorioso and Quentin Anthony and Yury Tokpanov and Anna Golubeva and Vasudev Shyam and James Whittington and Jonathan Pilault and Beren Millidge},
journal= {arXiv preprint arXiv:2411.15242},
year = {2024}
}
备注
21/11/24 initial upload