从理论视角解决训练后量化中的振荡问题
计算机视觉与模式识别
2023-04-05 v2
摘要
训练后量化 (Post-training quantization, PTQ) 因其数据隐私性和低计算成本，被广泛认为是实践中最有效的压缩方法之一。我们认为 PTQ 方法中存在一个被忽视的振荡问题。在本文中，我们率先探索并给出理论证明，解释为何该问题在 PTQ 中至关重要。随后，我们尝试通过理论上引入一个原则性且通用的框架来解决此问题。具体而言，我们首先形式化 PTQ 中的振荡，并证明该问题由模块容量差异引起。为此，我们在数据依赖与无数据场景下定义了模块容量 (ModCap)，其中相邻模块间的差异用于度量振荡程度。然后通过选取前 k 个差异项解决该问题，对应模块被联合优化与量化。大量实验表明，我们的方法成功降低了性能下降，并可推广至不同神经网络与 PTQ 方法。例如，在 2/4 比特 ResNet-50 量化下，我们的方法超越先前最优方法 1.9%。其在小模型量化上更为显著，如在 MobileNetV2*0.5 上超越 BRECQ 方法 6.61%。
引用
@article{arxiv.2303.11906,
title = {Solving Oscillation Problem in Post-Training Quantization Through a Theoretical Perspective},
author = {Yuexiao Ma and Huixia Li and Xiawu Zheng and Xuefeng Xiao and Rui Wang and Shilei Wen and Xin Pan and Fei Chao and Rongrong Ji},
journal= {arXiv preprint arXiv:2303.11906},
year = {2023}
}
备注
Accepted by CVPR 2023