小语言模型（SLM）依然大有可为：一项综述（更新于 2026 年）
计算与语言
2026-05-15 v2
摘要
随着基础 AI 模型的规模持续增长，一个重要问题随之产生——大规模是唯一的前进路径吗？本综述考察了约 160 篇论文，介绍了一系列参数规模在 10 亿至 80 亿之间的小语言模型（SLM），这些模型表明较小的模型可以表现得同样好，甚至优于大模型。我们探讨了任务无关的通用 SLM、任务特定的 SLM 以及构建 SLM 的技术，旨在指导社区在平衡性能、效率、可扩展性和成本的前提下构建模型。此外，我们定义并表征了 SLM 的有效规模，代表了相对于 LLM 增强的能力。
引用
@article{arxiv.2501.05465,
title = {Small Language Models (SLMs) Can Still Pack a Punch: A survey (updated 2026)},
author = {Akanksha Gupta and Bijo Thomas and Harshita Asnani and Phanindra Reddy Madduru and Samia Feroze and Shreyas Subramanian and Vikram Elango and Mecit Gungor},
journal= {arXiv preprint arXiv:2501.05465},
year = {2026}
}