面向量化训练的后见之明量化范围估计

应用于深度神经网络推理的量化技术已在资源受限设备上实现了快速高效的执行。量化在推理中的成功促使学术界探索全量化训练，即也对反向传播进行量化。然而，有效的梯度量化仍是一个开放问题。梯度是无界的，且其分布在训练期间显著变化，这导致需要动态量化。正如我们所展示的，动态量化会导致显著的内存开销和额外的数据流量，从而减慢训练速度。我们提出了一种动态量化的简单替代方案——后见之明范围估计，它使用在前几次迭代中估计的量化范围来量化当前迭代。我们的方法实现了梯度和激活的快速静态量化，同时仅需要神经网络加速器提供最少的硬件支持，以在线方式跟踪输出统计信息。它旨在作为估计量化范围的即插即用替代方案，并可与量化训练中的其他进展结合使用。我们将我们的方法与量化训练文献中现有的范围估计方法进行比较，并在包括 MobileNetV2 在内的多种架构上，以及图像分类基准（Tiny ImageNet 和 ImageNet）上展示了其有效性。