MARR：用于低位后训练量化的模块自适应残差重构
机器学习
2026-05-19 v1 人工智能
计算机视觉与模式识别
摘要
最近，基于残差重构的模型量化方法在低位后训练量化(PTQ)中取得了令人鼓舞的性能，通过引入跨层残差来减少来自前导层的累积误差。然而，这些残差可能还会引入额外偏差，这源于重构基于 PTQ 的 Hessian-近似(HA) 假设所致，导致次优量化性能。在本工作中，我们分析说，通过对残差项乘以一个缩放系数提供了一种直接消除 HA 相关偏差的方法，同时保持累积误差校正。更重要的是，我们观察到这种权衡是模块相关的，这使得单个全局残差强度不足以在各模块之间有效平衡有效校正与残差相关偏差。在这些观察基础上，我们提出了模块自适应残差重构(MARR)，为每个模块分配特定的缩放系数，以适应性地平衡累积误差校正与残差相关 HA 偏差。为避免昂贵的逐模块系数搜索并获得稳定的系数估计，我们设计了基于比例-积分-微分(PID)的自适应更新策略，该策略将重构误差作为反馈，用于逐步细化该系数。在几个典型大型语言模型(LLM)和视觉变换器(ViT)上的实验表明，MARR 在低位量化(小于或等于4位)下有效，LLM 上实现了最高可达20.2%的性能提升，ViT 上实现了最高可达4.6%的相对提升，超过残差重构领域的现有方法。代码将在接受后公开。
引用
@article{arxiv.2605.17997,
title = {MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization},
author = {Le Su and Xing Luo and Zhi Jin},
journal= {arXiv preprint arXiv:2605.17997},
year = {2026}
}