具有细粒度量化的三值神经网络

我们提出一种新颖的细粒度量化（FGQ）方法，将预训练的全精度模型三值化，同时将激活值限制为 8 位和 4 位。使用该方法，我们在最先进的拓扑结构上展示了无需额外训练的分类精度极小损失。我们提供了改进的理论公式，构成了使用 FGQ 获得更高质量解的基础。我们的方法涉及以 $N$ 个权重为一组对原始权重张量进行三值化。使用 $N=4$，我们在 Resnet-101 和 Resnet-50 上分别实现了相对于基线全精度结果 Top-1 精度在 $3.7\%$ 和 $4.2\%$ 之内的成绩，同时消除了 $75\%$ 的乘法操作。这些结果实现了完整的 8/4 位推理流水线，在 ImageNet 数据集上使用三值权重取得了已报道的最佳精度，并具备 $9\times$ 的性能提升潜力。此外，对于 AlexNet 等较小网络，FGQ 取得了最先进的结果。我们进一步研究了组大小对性能和精度的影响。当组大小 $N=64$ 时，我们消除了 $\approx99\%$ 的乘法；然而，这引入了明显的精度下降，需要在较低精度下微调参数。我们通过以 $N=64$ 使用 8 位激活和三值权重微调 Resnet-50 来解决此问题，将 Top-1 精度提升至全精度结果的 $4\%$ 以内，且额外训练开销 $<30\%$。我们最终的量化模型可在完整的 8 位计算流水线上运行，使用 2 位权重，相比基线全精度模型具备高达 $15\times$ 的性能提升潜力。