量化深度网络的平均场理论：量化-深度权衡

在神经网络训练中降低权重与激活函数的精度且对性能影响最小，对于这些模型在资源受限环境中的部署至关重要。我们应用平均场技术于具有量化激活的网络，以评估量化在初始化时退化信号传播的程度。我们推导了在此类网络中最大化信号传播的初始化方案，并阐释了此举有助于泛化的原因。基于这些结果，我们得到了给定$N$（激活函数中的量化级数）时$L_{\max}$（最大可训练深度，即模型容量）的闭式隐式方程。对该方程进行数值求解，我们得到渐近关系：$L_{\max}\propto N^{1.82}$。