关于量化中多尺度校准的重要性
机器学习
2026-02-10 v1 计算与语言
摘要
后训练量化（PTQ）是高效部署大型语言模型（LLM）的关键技术，其中小型校准集对量化性能至关重要。然而，传统做法依赖于固定长度的随机序列，忽略了LLM输入的可变长度特性。输入长度直接影响激活分布，从而影响Hessian捕获的权重重要性，进而影响量化结果。因此，基于固定长度校准得出的Hessian估计可能无法准确代表在各种输入场景下权重的真实重要性。我们提出了MaCa（Matryoshka Calibration），一种简单且有效的长度感知Hessian构建方法。MaCa（1）将多尺度序列长度信息纳入Hessian估计中，（2）将每个序列作为独立样本进行正则化，从而获得更稳定且更具信息量的Hessian，以实现准确量化。在Qwen3、Gemma3、LLaMA3等最先进的LLM上进行的实验表明，MaCa在低位量化下 consistently 改善了准确性，提供了一种轻量级的改进方案，可与现有PTQ框架兼容。迄今为止，已知是首次系统性地强调多尺度校准在LLM量化中的作用。
关键词
引用
@article{arxiv.2602.07465,
title = {On the Importance of a Multi-Scale Calibration for Quantization},
author = {Seungwoo Son and Ingyu Seong and Junhan Kim and Hyemi Jang and Yongkweon Jeon},
journal= {arXiv preprint arXiv:2602.07465},
year = {2026}
}
备注
ICASSP 2026