Sigma-Delta量化网络

深度神经网络可能极度浪费。在处理视频时，卷积网络对每帧耗费固定量的计算，而不顾相邻帧之间的相似性。结果，它最终重复进行非常相似的计算。为了终结这种浪费，我们引入Sigma-Delta网络。对于每个新输入，该网络中的每一层将其激活值变化的离散化形式发送给下一层。因此，网络所做的计算量随输入和层激活值的变化量缩放，而非随网络规模缩放。我们引入一种优化方法，用于将任何预训练的深度网络转换为最优高效的Sigma-Delta网络，并展示我们的算法若在合适硬件上运行，可将处理视频数据的计算成本削减至少一个数量级。