SmolLM2：当“小”变“大”——数据中心语言模型训练
计算与语言
2025-02-06 v1
摘要
虽然大型语言模型在人工智能许多应用方面取得了突破，但其固有的庞大使其在资源受限的设置中计算成本高昂且难以部署。本文记录了 SmolLM2 的开发，该模型是一种“小型”(17 亿参数)语言模型 (LM)。为实现卓越性能，我们在约 11 万亿 token 的数据上进行 overtraining，使用多阶段训练过程将网页文本与专门的数学、代码和 instruction-following 数据混合。我们还在发现现有数据问题性小或质量低的阶段引入了新的专门数据集 (FineMath、Stack-Edu 和 SmolTalk)。为 inform our 设计决策，我们进行了小规模的 ablation 研究以及手动精炼过程，该过程根据前一阶段的性能更新数据混合比率。最终，我们证明 SmolLM2 在其他最新小型 LM 方面优于 Qwen2.5-1.5B 和 Llama3.2-1B。为促进未来 LM 开发以及小型 LM 的应用， 我们发布了 SmolLM2 以及本项目中准备的所有数据集。
引用
@article{arxiv.2502.02737,
title = {SmolLM2: When Smol Goes Big -- Data-Centric Training of a Small Language Model},
author = {Loubna Ben Allal and Anton Lozhkov and Elie Bakouch and Gabriel Martín Blázquez and Guilherme Penedo and Lewis Tunstall and Andrés Marafioti and Hynek Kydlíček and Agustín Piqueres Lajarín and Vaibhav Srivastav and Joshua Lochner and Caleb Fahlgren and Xuan-Son Nguyen and Clémentine Fourrier and Ben Burtenshaw and Hugo Larcher and Haojun Zhao and Cyril Zakka and Mathieu Morlon and Colin Raffel and Leandro von Werra and Thomas Wolf},
journal= {arXiv preprint arXiv:2502.02737},
year = {2025}
}