RaanA：一种快速、灵活且数据高效的训练后量化算法
机器学习
2025-11-03 v2 人工智能
摘要
训练后量化（Post-training Quantization, PTQ）已成为提高大型语言模型（LLMs）推理效率的广泛使用的技术。然而，现有的 PTQ 方法通常存在一些关键局限性，例如对校准数据的大量需求以及目标比特数选择的灵活性不足。在本文中，我们提出了 RaanA，一个统一的 PTQ 框架，通过引入两个新颖的组件来克服这些挑战：1）RaBitQ-H，随机向量量化方法 RaBitQ 的一种变体，专为快速、准确且高效的量化而设计；2）AllocateBits，一种根据层的量化敏感性在各层之间优化分配比特宽度的算法。RaanA 与最先进的量化方法取得了具有竞争力的性能，同时速度极快，仅需极少的校准数据，并支持灵活的比特分配。大量实验证明了 RaanA 在平衡效率和准确性方面的有效性。代码已公开发布于 https://github.com/FFTYYY/RaanA 。
引用
@article{arxiv.2504.03717,
title = {RaanA: A Fast, Flexible, and Data-Efficient Post-Training Quantization Algorithm},
author = {Yongyi Yang and Jianyang Gao and Wei Hu},
journal= {arXiv preprint arXiv:2504.03717},
year = {2025}
}