用于快速部署的卷积网络训练后 4-bit 量化
计算机视觉与模式识别
2019-05-30 v3
摘要
卷积神经网络除需要大量计算资源外，其中间计算还需显著的存储带宽与存储空间。神经网络量化在减少中间结果量上具有显著益处，但其常需完整数据集与耗时的微调以恢复量化后损失的精度。本文提出首个实用的 4-bit 训练后量化方法：它不涉及量化模型的训练（微调），也不要求完整数据集可用。我们旨在对激活值与权重二者进行量化，并给出三种在张量层级最小化量化误差的互补方法，其中两种可获闭式解析解。结合这些方法，我们的方法在广泛的卷积模型上取得的精度仅比最先进（SOTA）基线低几个百分点。复现全部实验的源代码已于 GitHub 提供：\url{https://github.com/submission2019/cnn-quantization}。
引用
@article{arxiv.1810.05723,
title = {Post-training 4-bit quantization of convolution networks for rapid-deployment},
author = {Ron Banner and Yury Nahshan and Elad Hoffer and Daniel Soudry},
journal= {arXiv preprint arXiv:1810.05723},
year = {2019}
}