CSQ：基于双层连续稀疏化的增长型混合精度量化方案
计算机视觉与模式识别
2023-03-01 v2
摘要
混合精度量化已广泛应用于深度神经网络（DNNs），因为相较于均匀量化，其能带来显著更优的效率-精度权衡。同时，确定每一层的精确精度仍具挑战性。先前在比特级正则化与训练中基于剪枝的动态精度调整方面的尝试受限于噪声梯度与不稳定收敛。本工作中，我们提出连续稀疏化量化（CSQ），一种比特级训练方法，用以搜索具有更高稳定性的混合精度量化方案。CSQ 通过对量化权重的比特值及决定每层量化精度的比特选择进行双层渐进连续稀疏化，稳定了比特级混合精度训练过程。该连续稀疏化方案实现了无需梯度近似的完全可微训练，同时最终得到精确的量化模型。对总模型大小的预算感知正则化使得每层的精度可动态增长与剪枝，趋向所需大小的混合精度量化方案。大量实验表明，CSQ 在多个模型与数据集上取得了优于先前方法的效率-精度权衡。
引用
@article{arxiv.2212.02770,
title = {CSQ: Growing Mixed-Precision Quantization Scheme with Bi-level Continuous Sparsification},
author = {Lirui Xiao and Huanrui Yang and Zhen Dong and Kurt Keutzer and Li Du and Shanghang Zhang},
journal= {arXiv preprint arXiv:2212.02770},
year = {2023}
}
备注
Published as a conference paper at DAC 2023