细察硬件友好型权重量化
机器学习
2022-10-10 v1
摘要
将深度神经网络(DNN)模型量化为可在具有高效定点硬件实现的定制加速器上使用的模型,需要满足许多严格的硬件友好型量化约束来训练模型。我们在权重量化的背景下评估了两类主要的硬件友好型量化方法:传统的基于均方量化误差(MSQE)的方法和较新的基于梯度的方法。我们在MobileNetV1和MobileNetV2上使用多个经验指标研究这两种方法,以识别两类方法之间性能差异的来源,即对外点值的敏感性和量化器缩放因子的收敛不稳定性。利用这些见解,我们提出了各种技术来改进两种量化方法的性能——它们修复了基于MSQE的方法在MobileNet模型量化期间存在的优化不稳定性问题,并使我们能够在ImageNet上分别将基于梯度的方法在MobileNetV1和MobileNetV2上的验证性能提高4.0%和3.3%。
引用
@article{arxiv.2210.03671,
title = {A Closer Look at Hardware-Friendly Weight Quantization},
author = {Sungmin Bae and Piotr Zielinski and Satrajit Chatterjee},
journal= {arXiv preprint arXiv:2210.03671},
year = {2022}
}