Astro：面向异常值鲁棒 LLM 后训练量化的激活引导结构化正则化
机器学习
2026-02-10 v1 人工智能
摘要
权重级后训练量化(PTQ)是高效部署大型语言模型(LLM)的关键步骤，但因权重和激活异常值导致精度下降。现有缓解策略面临严峻限制：要么产生不足的异常抑制，要么造成显著的部署效率问题，如推理延迟、重型预处理或依赖复杂算子融合。为解决这些限制，我们利用一个关键洞察：过参数化的 LLM 常常收敛到平坦最小值，这意味着存在广泛的等效解空间，其中权重可在不影响精度的前提下进行调整。基于此，我们提出了 Astro，即一种激活引导的结构化正则化框架，旨在以硬件友好且高效的方式抑制异常值的负面影响。利用激活引导的正则化目标，Astro主动重构内在稳健权重，积极抑制与高幅度激活相对应的权重异常值，而不牺牲模型精度。重要的是，Astro引入零推理延迟，且与主流量化方法如 GPTQ 是正交的。广泛实验表明，Astro 取得了高性能；值得注意的是，在 LLaMA-2-7B 上，Astro 的性能优于具有复杂学习性旋转方法，量化时间几乎仅为其 1/3。
引用
@article{arxiv.2602.07596,
title = {Astro: Activation-guided Structured Regularization for Outlier-Robust LLM Post-Training Quantization},
author = {Xi Chen and Ming Li and Junxi Li and Changsheng Li and Peisong Wang and Lizhong Ding and Ye Yuan and Guoren Wang},
journal= {arXiv preprint arXiv:2602.07596},
year = {2026}
}