CDQuant:用于精确LLM量化的贪婪坐标下降法
机器学习
2024-10-24 v3 人工智能
计算与语言
摘要
大型语言模型(LLM)最近在各种语言任务中展现出卓越的性能。但它们的部署通常受到其巨大的计算和存储需求的限制。量化已成为应对这一挑战的关键技术,能够在性能影响最小的情况下压缩大型模型。最近的GPTQ算法,一种训练后量化(PTQ)方法,已被证明对压缩LLM非常有效,引发了一波以GPTQ为核心组件的研究浪潮。认识到GPTQ在PTQ领域的关键作用,我们引入了CDQuant,一种简单且可扩展的GPTQ替代方案,具有改进的性能。CDQuant使用贪婪坐标下降来最小化逐层重建损失,以实现高质量的量化权重。我们的算法易于实现,并能高效扩展到具有数千亿参数的模型。我们在Gemma和PaLM2模型系列上进行了广泛评估,并证明CDQuant在2-4比特权重量化中始终优于GPTQ。此外,当CDQuant作为其GPTQ组件的替代品时,它提高了最先进PTQ技术(如QuIP和FrameQuant)的性能,从而在质量上获得进一步提升。
引用
@article{arxiv.2406.17542,
title = {CDQuant: Greedy Coordinate Descent for Accurate LLM Quantization},
author = {Pranav Ajit Nair and Arun Sai Suggala},
journal= {arXiv preprint arXiv:2406.17542},
year = {2024}
}