Genie：为零-shot量化提供数据

零-shot量化是一种在有成本、隐私等各类原因导致数据不可访问时，开发轻量级深度神经网络的有前景的方法。通过利用 FP32 预训练模型中批归一化层学到的参数（$\mu$ 和 $\sigma$），零-shot量化方案侧重于生成合成数据。随后，它们将知识从预训练模型（教师）蒸馏到量化模型（学生），使得量化模型可以用合成数据集进行优化。然而，迄今为止，零-shot量化主要在量化感知训练方法的背景下被讨论，这需要任务特定的损失和如同重训练般长时间的优化。因此我们引入了一种用于零-shot量化的训练后量化方案，可在数小时内产出高质量量化网络。此外，我们提出了一个称为 Genie 的框架，其生成适用于量化的数据。利用 Genie 合成的数据，我们可以在没有真实数据集的情况下产出鲁棒的量化模型，其效果可与少-shot量化相媲美。我们还提出了一种训练后量化算法来提升量化模型的性能。通过将二者结合，我们能够弥合零-shot与少-shot量化之间的差距，同时相比现有方法显著改进量化性能。换言之，我们获得了一种独特的 state-of-the-art 零-shot量化方法。代码见 \url{https://github.com/SamsungLabs/Genie}。