量化神经网络的方法与理论综述

深度神经网络是许多现实任务（如计算机视觉、自然语言处理和语音识别）的最先进方法。尽管广受欢迎，深度神经网络也因在训练和推理过程中消耗大量内存并耗尽设备电池寿命而受到批评。这使得难以在资源严格受限的移动或嵌入式设备上部署这些模型。量化被认为满足深度神经网络模型极端内存需求的最有效方法之一。量化表示不使用 32 位浮点格式表示权重，而是以更紧凑的格式（如整数甚至二进制数）存储权重。尽管预测性能可能下降，量化提供了一种大幅减小模型尺寸和能耗的潜在方案。本综述中，我们对量化神经网络的各个方面进行了详尽回顾，并讨论了量化神经网络当前的挑战与趋势。