面向量化 DNN 时代的 Magic

最近，DNN 中的参数数量呈爆炸式增长，以 LLM (Large Language Models) 为例，这使得在小规模计算机上的推理变得更加困难。因此，模型压缩技术对于将其集成到产品中至关重要。在本文中，我们提出了一种量化感知训练方法。我们引入了一种独立于小批量大小且在推理期间不需要任何额外计算成本的新型归一化方法。然后，我们通过带有权重标准化的缩放舍入截断函数对权重进行量化。我们还使用相同的函数量化激活函数，并应用替代梯度来训练同时具有量化权重和量化激活函数的模型。我们将此方法称为 Magic for the age of Quantised DNNs (MaQD)。实验结果表明，我们的量化方法能够在极小精度下降的情况下实现。