技术报告：激活残差Hessian量化(ARHQ)用于低位LLM量化
机器学习
2026-05-04 v1 计算与语言
计算机视觉与模式识别
摘要
我们提出了激活残差Hessian量化(ARHQ)，一种后训练权重分割方法，旨在缓解低位激活-权重量化中的误差传播。通过构建来自激活量化残差(G_x)的输入侧残差Hessian，ARHQ从分析上识别并隔离误差敏感的权重方向到一个高精度低秩分支。这通过对缩放后的权重矩阵进行闭形式截断奇异值分解(SVD)实现。实验结果表明，在Qwen3-4B-Thinking-2507模型上，ARHQ显著改善了层级信噪比(SNR)，并在激进量化下保持了ZebraLogic上的下游推理性能。代码已公开于https://github.com/BeautMoonQ/ARHQ。
引用
@article{arxiv.2605.00140,
title = {Technical Report: Activation Residual Hessian Quantization (ARHQ) for Low-Bit LLM Quantization},
author = {YiFeng Wang and Zhun Sun and Keisuke Sakaguchi},
journal= {arXiv preprint arXiv:2605.00140},
year = {2026}
}