Mistral 7B
计算与语言
2023-10-11 v1 人工智能
机器学习
摘要
我们推出 Mistral 7B v0.1，一个拥有 70 亿参数的语言模型，专为卓越的性能与效率而设计。Mistral 7B 在所有评估基准上均优于 Llama 2 13B，并在推理、数学和代码生成上超越 Llama 1 34B。我们的模型利用分组查询注意力（GQA）以加速推理，并结合滑动窗口注意力（SWA）以更低的推理成本有效处理任意长度的序列。我们还提供了一个经微调以遵循指令的模型 Mistral 7B -- Instruct，它在人工与自动化基准上均超越了 Llama 2 13B -- Chat 模型。我们的模型基于 Apache 2.0 许可证发布。
引用
@article{arxiv.2310.06825,
title = {Mistral 7B},
author = {Albert Q. Jiang and Alexandre Sablayrolles and Arthur Mensch and Chris Bamford and Devendra Singh Chaplot and Diego de las Casas and Florian Bressand and Gianna Lengyel and Guillaume Lample and Lucile Saulnier and Lélio Renard Lavaud and Marie-Anne Lachaux and Pierre Stock and Teven Le Scao and Thibaut Lavril and Thomas Wang and Timothée Lacroix and William El Sayed},
journal= {arXiv preprint arXiv:2310.06825},
year = {2023}
}
备注
Models and code are available at https://mistral.ai/news/announcing-mistral-7b/