Zamba：一个紧凑的 7B SSM 混合模型
机器学习
2024-05-28 v1 人工智能
计算与语言
摘要
本技术报告介绍了 Zamba，这是一个新型 7B 参数的 SSM-Transformer 混合模型，在规模相当的情况下实现了领先开源模型的竞争性能。Zamba 基于公开数据集训练 1T 个标记，是目前规模范围内最好的非 Transformer 模型。Zamba 首创一种独特架构，将 Mamba 主干与单个共享注意力模块相结合，从而以极低的参数成本获得注意力的优势。由于其架构，Zamba 在推理速度上显著快于可比较的 Transformer 模型，并且在生成长序列时所需的内存显著更少。Zamba 的预训练分为两个阶段：第一个阶段基于现有网页数据集进行，而第二个阶段则通过对高质量指令和合成数据集进行退火训练，特点是学习率快速衰减。我们通过两个阶段开源了 Zamba 的权重和所有检查点。
关键词
引用
@article{arxiv.2405.16712,
title = {Zamba: A Compact 7B SSM Hybrid Model},
author = {Paolo Glorioso and Quentin Anthony and Yury Tokpanov and James Whittington and Jonathan Pilault and Adam Ibrahim and Beren Millidge},
journal= {arXiv preprint arXiv:2405.16712},
year = {2024}
}