SDQ：基于混合精度的随机可微量化
机器学习
2022-07-12 v3 人工智能
计算机视觉与模式识别
摘要
为以计算高效的方式部署深度模型，模型量化方法已被频繁使用。此外，随着支持混合位宽算术运算的新硬件出现，近期关于混合精度量化（MPQ）的研究开始通过为网络中不同层与模块搜索优化位宽，充分利用表示能力。然而，先前研究主要以昂贵方案（如强化学习、神经架构搜索等）搜索 MPQ 策略，或简单利用部分先验知识进行位宽分配，这可能带有偏置且次优。本工作中，我们提出一种新颖的随机可微量化（SDQ）方法，能以更灵活、全局优化的空间与更平滑的梯度近似自动学习 MPQ 策略。特别地，可微位宽参数（DBPs）被用作相邻位宽选择间随机量化中的概率因子。获得最优 MPQ 策略后，我们进一步通过熵感知 bin 正则化与知识蒸馏训练网络。我们在不同硬件（GPU 与 FPGA）和数据集上对多个网络进行了广泛评估。SDQ 以更低位宽优于所有 SOTA 混合或单精度量化，且在各类 ResNet 与 MobileNet 系列上甚至优于全精度对应模型，证明了方法的有效性与优越性。
引用
@article{arxiv.2206.04459,
title = {SDQ: Stochastic Differentiable Quantization with Mixed Precision},
author = {Xijie Huang and Zhiqiang Shen and Shichao Li and Zechun Liu and Xianghong Hu and Jeffry Wicaksana and Eric Xing and Kwang-Ting Cheng},
journal= {arXiv preprint arXiv:2206.04459},
year = {2022}
}
备注
ICML 2022