非线性双极补偿：处理后训练量化中的离群点
计算机视觉与模式识别
2026-05-19 v1
摘要
网络量化已成为最实用的模型压缩技术之一，通过将浮点数映射到低位表示显著降低模型的内存和计算消耗。然而，现有的量化方法通常面临速度与精度之间的权衡以及有限的泛化能力。为解决这些问题，最近的基于补偿的方法通过在量化网络中引入额外的轻量级线性层，提供了一种高效且通用的解决方案。然而，这些方法的准确率受限于其补偿能力的局限性以及对离群点的高度敏感性。本文提出了一种非线性双极补偿（NBC），这是一种后训练量化方法，通过引入非线性补偿来减少离群点的影响。我们进一步设计了双极对数变换（BLT），将量化输入和量化误差映射到变换空间，以压缩离群点。随后在变换空间中应用简单的线性层进行补偿，保持了方法的高效性。广泛的实验在各种任务、模型和量化方法上验证了NBC方法的有效性、效率、鲁棒性和通用性。
引用
@article{arxiv.2605.16423,
title = {Nonlinear Bipolar Compensation: Handling Outliers in Post-Training Quantization},
author = {Peilin Sun and Jianxin Wu},
journal= {arXiv preprint arXiv:2605.16423},
year = {2026}
}