BMPQ：基于位梯度敏感度从零开始训练的深度神经网络混合精度量化
计算机视觉与模式识别
2021-12-30 v1 机器学习
摘要
具有混合精度量化的大型深度神经网络（DNNs）能够在保持高分类性能的同时实现超高压缩率。然而，由于难以找到能够指导优化过程的准确度量指标，这些方法要么相比32位浮点（FP-32）基线牺牲显著的性能，要么依赖于计算代价高昂的迭代训练策略，且需要可用的预训练基线。为解决此问题，本文提出BMPQ，一种利用位梯度分析层敏感度并生成混合精度量化模型的训练方法。BMPQ仅需单次训练迭代，且不需要预训练基线。它使用整数线性规划（ILP）在训练过程中根据固定的硬件预算动态调整各层的精度。为评估BMPQ的有效性，我们在CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上对VGG16和ResNet18进行了大量实验。相比FP-32基线模型，BMPQ生成的模型参数量减少15.4倍，而精度下降可忽略不计。相比SOTA（当前最优）的“训练中”混合精度训练方案，我们的模型在CIFAR-10、CIFAR-100和Tiny-ImageNet上分别小2.1倍、2.2倍和2.9倍，且精度最高提升14.54%。
引用
@article{arxiv.2112.13843,
title = {BMPQ: Bit-Gradient Sensitivity Driven Mixed-Precision Quantization of DNNs from Scratch},
author = {Souvik Kundu and Shikai Wang and Qirui Sun and Peter A. Beerel and Massoud Pedram},
journal= {arXiv preprint arXiv:2112.13843},
year = {2021}
}
备注
4 pages, 2 figures, 2 tables