AngelSlim：大模型压缩的更易用、更全面且更高效的工具包
机器学习
2026-03-24 v3 人工智能
摘要
本技术报告介绍AngelSlim，这是由腾讯慕语团队开发的用于大模型压缩的全面且通用的工具包。AngelSlim整合了量化、投机解码、token修剪和蒸馏等前沿算法。AngelSlim提供了统一的管道，将模型压缩过渡到工业级部署简化为一个流程。为提高加速效率，我们集成了最先进的FP8和INT8后训练量化（PTQ）算法，以及先进研究在超低比特方案中的成果， featuring HY-1.8B-int2 作为首个在工业层面可行的2位大模型。除了量化之外，我们提出了与多模态架构和现代推理引擎兼容的训练对齐投机解码框架，在不损害输出正确性的前提下实现1.8倍至2.0倍的吞吐量提升。此外，我们开发了一种无训练稀疏注意力框架，通过将稀疏内核从模型架构中解耦，采用静态模式和动态 token 选择的混合方法，在长上下文场景中减少到首个 token 的时间（TTFT）。对于多模态模型，AngelSlim集成了专门的修剪策略，包括通过最大边际相关性（MMR）优化视觉 token 的 IDPruner，以及用于自适应音频 token 合并和修剪的 Samp。通过整合这些压缩策略从底层实现开始，AngelSlim实现了以算法为中心的研究和以工具为导向的部署。
引用
@article{arxiv.2602.21233,
title = {AngelSlim: A more accessible, comprehensive, and efficient toolkit for large model compression},
author = {Rui Cen and QiangQiang Hu and Hong Huang and Hong Liu and Song Liu and Xin Luo and Lin Niu and Yifan Tan and Decheng Wu and Linchuan Xie and Rubing Yang and Guanghua Yu and Jianchen Zhu},
journal= {arXiv preprint arXiv:2602.21233},
year = {2026}
}