利用逆向合成数据进行高效推理的混合与非均匀量化方法
计算机视觉与模式识别
2020-12-29 v1
摘要
现有的量化感知训练方法试图利用训练数据来补偿量化损失，如同大多数训练后量化方法一样，并且也很耗时。这两种方法对于隐私约束应用均无效，因为它们与训练数据紧密耦合。相比之下，本文提出了一种与数据无关的训练后量化方案，消除了对训练数据的需求。这是通过从 FP32 模型层统计量生成一种假数据集（以下称为逆向合成数据，Retro-Synthesis Data）并进一步将其用于量化来实现的。该方法在 ImageNet 和 CIFAR-10 数据集上，对带和不带批归一化（Batch-Normalization）层的模型，在 8、6 和 4 位精度上优于包括 ZeroQ 和 DFQ 在内的先进方法。我们还引入了两种前瞻性的训练后量化方法变体，即混合量化（Hybrid Quantization）与非均匀量化（Non-Uniform Quantization）。
引用
@article{arxiv.2012.13716,
title = {Hybrid and Non-Uniform quantization methods using retro synthesis data for efficient inference},
author = {Tej pratap GVSL and Raja Kumar},
journal= {arXiv preprint arXiv:2012.13716},
year = {2020}
}