ZeroQ：一种新颖的零样本量化框架
计算机视觉与模式识别
2020-03-29 v1
摘要
量化是一种有望减少神经网络推理时间与内存占用的途径。然而，大多数现有量化方法需要在量化过程中访问原始训练数据集以进行再训练。对于具有敏感或专有数据的应用而言，这往往因隐私与安全考量而不可行。现有的零样本量化方法使用不同启发式手段来解决此问题，但它们导致性能不佳，尤其在量化至超低精度时。在此，我们提出 ZeroQ，一种新颖的零样本量化框架以解决该问题。ZeroQ 无需任何对训练或验证数据的访问即可实现混合精度量化。这是通过优化一个蒸馏数据集（Distilled Dataset）来实现的，该数据集被构造以匹配网络不同层中批量归一化（batch normalization）的统计特性。ZeroQ 支持均匀与混合精度量化。对于后者，我们引入一种基于新颖帕累托前沿（Pareto frontier）的方法，自动确定所有层的混合精度位宽设置，无需手动搜索。我们在多种模型上广泛测试了所提方法，包括 ImageNet 上的 ResNet18/50/152、MobileNetV2、ShuffleNet、SqueezeNext 与 InceptionV3，以及 Microsoft COCO 数据集上的 RetinaNet-ResNet50。特别地，我们展示了相较于近期提出的 DFQ 方法，ZeroQ 在 MobileNetV2 上可获得高 1.71% 的准确率。重要的是，ZeroQ 具有极低的计算开销，其可在少于 30 秒内（ResNet50 在 ImageNet 上单轮训练时间的 0.5%）完成整个量化过程。我们已开源 ZeroQ 框架\footnote{https://github.com/amirgholami/ZeroQ}。
引用
@article{arxiv.2001.00281,
title = {ZeroQ: A Novel Zero Shot Quantization Framework},
author = {Yaohui Cai and Zhewei Yao and Zhen Dong and Amir Gholami and Michael W. Mahoney and Kurt Keutzer},
journal= {arXiv preprint arXiv:2001.00281},
year = {2020}
}
备注
CVPR 2020