Apertus LLM 系列的通过蒸馏与量化扩展
机器学习
2026-05-29 v1
摘要
LLM 的广泛采用已导致其在各种应用和场景中使用，例如聊天机器人助手和数据标注，造就了模型需满足特定预算和硬件约束的需求。这导致 LLM 以一批由相似模型构成的系列形式发布，以覆盖尽可能广泛的约束范围。本文通过蒸馏和量化验证了一种成本效益方法，用于将模型系列扩展至新的规模和硬件格式。基于开源 Apertus 8B LLM，我们生产出 Apertus-v1.1—a 一组由 1.7 万亿个允许许可证 token 训练的蒸馏模型系列，参数数目可达 40 亿。我们展示了该方法在覆盖大范围硬件和系统需求方面的成本效益和卓越准确性表现。
引用
@article{arxiv.2605.29128,
title = {Apertus LLM Family Expansion via Distillation and Quantization},
author = {Andrei Panferov and Davit Melikidze and Martin Jaggi and Dan Alistarh},
journal= {arXiv preprint arXiv:2605.29128},
year = {2026}
}