面向重参数化模型的精确训练后量化
计算机视觉与模式识别
2024-02-27 v1 人工智能
摘要
模型重参数化是一种广泛接受的在不牺牲性能的情况下提高推理速度的技术。然而，当前的训练后量化（PTQ）方法在应用于重参数化模型时往往导致显著的精度下降。这主要是由通道特异性和样本特异性离群值引起的，这些离群值仅出现在特定样本和通道上，并影响量化参数的选择。为了解决这个问题，我们提出了RepAPQ，一种保持量化重参数化模型精度的新框架。与之前使用均方误差（MSE）作为度量的框架不同，我们利用平均绝对误差（MAE）来减轻离群值对量化参数的影响。我们的框架包含两个主要组件：量化保护重参数化和跨块校准。为了有效校准，量化保护重参数化将多个分支合并为一个带有仿射层的卷积。在训练过程中，仿射层加速收敛并放大卷积的输出，以更好地适应具有离群值的样本。此外，跨块校准利用阶段输出的测量作为监督，以解决MAE引入的梯度问题，并增强层间与量化参数的相关性。全面的实验证明了RepAPQ在各种模型和任务上的有效性。我们的框架在8位PTQ上比先前方法提高了约1%，在6位PTQ上提高了约2%，展示了其优越的性能。代码可在\url{https://github.com/ilur98/DLMC-QUANT}获取。
引用
@article{arxiv.2402.16121,
title = {Towards Accurate Post-training Quantization for Reparameterized Models},
author = {Luoming Zhang and Yefei He and Wen Fei and Zhenyu Lou and Weijia Wu and YangWei Ying and Hong Zhou},
journal= {arXiv preprint arXiv:2402.16121},
year = {2024}
}