基于量化卷积神经网络的图像分类技巧集
计算机视觉与模式识别
2023-03-14 v1
摘要
深度神经网络已被证明在广泛的任务中有效。然而，其高计算与内存成本使其难以部署在资源受限的设备上。为解决此问题，人们提出了量化方案以减小内存占用并提升推理速度。尽管已提出众多量化方法，但它们缺乏对其有效性的系统分析。为弥补这一差距，我们收集并改进了现有量化方法，提出了一种用于训练后量化的黄金准则。我们在 ImageNet 数据集上以两个流行模型 ResNet50 和 MobileNetV2 评估了所提方法的有效性。遵循我们的准则，即使直接将模型量化为 8 位而无需额外训练，也不会发生精度下降。基于该准则的量化感知训练可进一步提升低位宽量化下的精度。此外，我们集成了一个多阶段微调策略，该策略与现有剪枝技术协调配合以进一步降低成本。值得注意的是，我们的结果表明，具有 30% 稀疏度的量化 MobileNetV2 实际上超越了同等全精度模型的性能，凸显了我们提出方案的有效性与鲁棒性。
引用
@article{arxiv.2303.07080,
title = {Bag of Tricks with Quantized Convolutional Neural Networks for image classification},
author = {Jie Hu and Mengze Zeng and Enhua Wu},
journal= {arXiv preprint arXiv:2303.07080},
year = {2023}
}
备注
ICASSP 2023