压缩尺度律：统一稀疏与量化
机器学习
2025-02-27 v1 计算与语言
摘要
我们研究了不同压缩技术——如权重和激活量化、权重稀疏化——如何影响大语言模型（LLM）在预训练过程中的尺度行为。基于前期工作表明权重稀疏作为模型规模的常数乘子在尺度律中起作用，我们进一步证明，这种"有效参数"尺度模式也适用于量化技术。具体而言，我们确立了仅量化权重可实现显著的参数效率乘子，而对权重和激活进行完整量化则在较低位宽下显示出报酬递减。我们的结果表明，不同压缩技术可在统一的尺度律框架下进行原则性比较和组合。
引用
@article{arxiv.2502.16440,
title = {Compression Scaling Laws:Unifying Sparsity and Quantization},
author = {Elias Frantar and Utku Evci and Wonpyo Park and Neil Houlsby and Dan Alistarh},
journal= {arXiv preprint arXiv:2502.16440},
year = {2025}
}