用于高效深度神经网络 (DNN) 的动态网络手术

深度学习已成为提升机器智能的普适技术。然而，现有大多数深度模型在结构上非常复杂，难以部署在算力受限的移动平台上。本文提出一种称为动态网络手术 (dynamic network surgery) 的新型网络压缩方法，其通过进行即时连接剪枝显著降低了网络复杂度。与以往以贪婪方式完成该任务的方法不同，我们恰当地将连接拼接整合到整个过程中，以避免错误剪枝，并使其成为持续的网络维护。我们通过实验证明了方法的有效性。在不损失任何精度的情况下，我们的方法能将 LeNet-5 和 AlexNet 中的参数数量分别高效压缩 $\bm{108}\times$ 和 $\bm{17.7}\times$ 倍，证明其在较大程度上优于近期的剪枝方法。代码与部分模型见 https://github.com/yiwenguo/Dynamic-Network-Surgery。