用于训练后量化的高效自适应激活舍入
机器学习
2023-08-25 v3 计算机视觉与模式识别
摘要
训练后量化（post-training quantization）因在部署量化神经网络时的便利性而受到越来越多的关注。尽管舍入到最近（rounding-to-nearest）仍是深度神经网络量化的主流方法，先前研究已表明其在权重量化上并非最优。他们提出利用输出误差而非传统的权重量化误差来优化权重舍入方案。我们的研究揭示，类似的舍入问题也延伸至激活量化。尽管容易推广，挑战在于激活的动态特性。对于变化的激活期望自适应舍入，且该方法面临运行时开销。为此，我们提出 AQuant 量化框架，以调整激活舍入方案来降低输出误差的新视角。我们不使用舍入到最近操作的恒定舍入边界 0.5，而是使边界成为关于激活值的函数，从而通过自适应边界改变激活舍入。为处理运行时开销，我们采用边界函数的粗粒度版本。最后，我们引入框架来优化边界函数。大量实验表明，与最先进（state-of-the-art）工作相比，AQuant 取得了显著提升，并在 2 比特权重与激活量化下将 ResNet-18 的准确率提升至 60.31%。
引用
@article{arxiv.2208.11945,
title = {Efficient Adaptive Activation Rounding for Post-Training Quantization},
author = {Zhengyi Li and Cong Guo and Zhanda Zhu and Yangjie Zhou and Yuxian Qiu and Xiaotian Gao and Jingwen Leng and Minyi Guo},
journal= {arXiv preprint arXiv:2208.11945},
year = {2023}
}