一切尽在教师网络中：零样本量化更贴近教师模型

模型量化被认为是一种大有前景的方法，可极大降低深度神经网络对资源的需求。为应对量化误差引起的性能下降，一种流行方法是利用训练数据对量化网络进行微调。然而，在真实环境中，由于安全、隐私或保密考量导致训练数据不可得，此类方法往往不可行。零样本量化解决了这类问题，通常借助全精度教师网络的权重信息来补偿量化网络的性能下降。本文中，我们首先分析了当前最先进零样本量化技术的损失曲面并给出若干发现。与通常的知识蒸馏问题不同，零样本量化常受制于 1) 多损失项联合优化的困难，以及 2) 因使用合成样本导致的泛化能力不佳。此外，我们观察到，即便为获得更优性能有必要如此，在训练量化网络时许多权重仍未能跨越舍入阈值。基于上述观察，我们提出 AIT，一种简洁而强大的零样本量化技术，通过以下方式解决前述两个问题：AIT i) 仅使用 KL 散度损失而不使用交叉熵损失，以及 ii) 操纵梯度以保证一定比例权重在跨越舍入阈值后得到恰当更新。实验表明，AIT 以极大优势超越众多现有方法的性能，占据了该领域总体最优地位。