解释量化如何差异化地偏斜模型

后训练量化（PTQ）因其高压缩率和速度以及对准确率的微小影响而被广泛采用。然而，我们观察到量化加剧了差异化影响，尤其是对少数群体。我们的分析解释了在量化过程中，在前向和后向传播中有一系列因素导致了跨组的差异化影响。我们探讨了量化引起的权重和激活变化如何在网络中产生级联影响，导致具有较低方差、更高损失以及受损组准确率的逻辑值。我们将研究扩展到验证这些影响对组梯度范数和Hessian矩阵特征值的影响，从而从优化角度洞察网络状态。为缓解这些影响，我们提出将混合精度量化感知训练（QAT）与数据集采样方法和加权损失函数相结合，从而提供量化神经网络的公平部署。