具有精确激活截断与自适应批归一化的无数据量化
机器学习
2022-06-23 v2 人工智能
计算机视觉与模式识别
图像与视频处理
摘要
无数据量化是在无法访问原始训练数据的情况下将神经网络压缩至低比特宽的任务。大多数现有的无数据量化方法由于不准确的激活截断范围和量化误差（尤其对于低比特宽）而导致严重的性能下降。在本文中，我们提出了一种简单而有效的无数据量化方法，具有精确激活截断和自适应批归一化。精确激活截断（AAC）通过利用来自全精度模型的准确激活信息来提升模型准确率。自适应批归一化首次提出通过自适应更新批归一化层来解决由分布变化引起的量化误差。大量实验表明，所提出的无数据量化方法能取得令人惊讶的性能，在 ImageNet 数据集上以 ResNet18 实现 64.33% 的 top-1 准确率，绝对提升 3.7%，优于现有的最先进方法。
引用
@article{arxiv.2204.04215,
title = {Data-Free Quantization with Accurate Activation Clipping and Adaptive Batch Normalization},
author = {Yefei He and Luoming Zhang and Weijia Wu and Hong Zhou},
journal= {arXiv preprint arXiv:2204.04215},
year = {2022}
}
备注
11 pages