HBLLM：基于小波增强的高保真1位量化方法
机器学习
2025-12-15 v3 人工智能
摘要
我们提出了HBLLM（Haar wavelet增强的高保真1位量化方法），这是一种用于大型语言模型（LLM）的基于小波的后训练量化方法。通过利用Haar小波变换进行频率分解来增强表达能力，HBLLM在保持最小开销的同时显著提高了量化保真度。该方法包含两种创新的结构感知分组策略：（1）频率感知的多参数 intra-row 分组；（2）基于 范数的显著性驱动列选择。对于非显著权重，采用跨量化组内每个频率带的共享均值，以优化存储效率。在在OPT和LLaMA模型上进行实验后，结果表明HBLLM在1位量化中实现了最佳性能，LLaMA-B模型的困惑度达到，平均权重存储仅为位。代码已公开：https://github.com/Yeyke/HBLLM。
引用
@article{arxiv.2512.00862,
title = {HBLLM: Wavelet-Enhanced High-Fidelity 1-Bit Quantization for LLMs},
author = {Ningning Chen and Weicai Ye and Ying Jiang},
journal= {arXiv preprint arXiv:2512.00862},
year = {2025}
}