通过初始化时结构化剪枝实现 DNN 在边缘计算上的快速部署

边缘机器学习（ML）实现了设备上数据的本地化处理，并由深度神经网络（DNN）作为支撑。然而，由于 DNN 在提供与基于云的 ML 相当的性能时需要大量的计算、内存和能耗，因此无法轻易在设备上运行。因此，人们开始考虑诸如剪枝之类的模型压缩技术。现有的剪枝方法对边缘 ML 存在问题，因为它们：（1）创建的压缩模型运行时性能提升有限（使用非结构化剪枝）或损害最终模型精度（使用结构化剪枝），以及（2）需要大量的计算资源和时间来识别合适的压缩 DNN 模型（使用神经架构搜索）。在本文中，我们探索了一条新途径，称为初始化时剪枝，使用结构化剪枝来缓解上述问题。我们开发了 Reconvene，这是一种使用结构化 PaI 快速生成适合边缘部署的剪枝模型的系统。Reconvene 系统地识别并剪枝对结构化剪枝最不敏感的 DNN 卷积层。Reconvene 可在几秒钟内快速创建剪枝 DNN，其模型体积缩小达 16.21 倍，速度提升达 2 倍，同时保持与非结构化 PaI 对应方法相同的精度。